滚动加载采集
本篇介绍如何采集「瀑布流」网页——页面底部没有「下一页」按钮,只要一直向下滚动就会不断加载新内容。
开始前准备
- 在浏览器中打开目标网站,若需要登录请先手动登录完成。
- 停留在你要采集的列表页面上。
先确认网页是否属于滚动加载
先在目标页面上向下滚动鼠标滚轮,观察页面变化:
| 页面表现 | 对应采集类型 | 需求关键词 |
|---|---|---|
| 向下滚动时内容自动源源不断冒出,没有分页按钮 | 滚动加载(本篇) | “滚动加载采集……” |
| 页面底部有明确的「下一页」或页码按钮 | 分页翻页 | 见列表与翻页采集 |
避免混淆
如果对着瀑布流网页写“点击下一页”,AI 会因找不到翻页按钮而只抓取首屏内容便提前终止。
操作步骤
1. 提交采集需求
- 打开目标网页,点击工具栏九头虫图标滑出侧边栏。
- 切换至「AI 编译生成」页面。
- 点击输入框上方的现成模板「滚动加载」,输入框会自动填入标准提示语:
滚动加载采集列表全部数据(滚动到底部自动加载,直到不再有新数据为止)
- 在该句后补充你需要提取的具体列名,例如:
滚动加载采集列表全部数据(滚动到底部自动加载,直到不再有新数据为止),提取文章标题、作者和发布时间。
- 点击发送。
2. 等待 AI 编译工作流
AI 会在当前网页模拟向下滚动,识别触底加载规律并提取样本。期间页面自行滚动属于正常现象,请勿手动抢夺鼠标或滚动页面。
3. 启动执行
编译完成后切换到「主工作台」,点击对应卡片上的「手动启动」。
任务运行期间,你会看到页面以平稳节奏向下自动滚动并抓取。
4. 预览与导出
采集结束后,切到「数据存储」查看抓取总条数,点击「下载此数据集」导出为 Excel 或 CSV。
核心技巧:如何设定停止条件
瀑布流页面最常见的失误是忘记限制停止时机,主要有两种写法:
- 「直到不再有新数据为止」(最推荐):
扩展会自动一直滚到底,直到连续几次触底均无新数据加载才停止,适合需要完整抓取全量数据的场景。 - 「滚动 N 次后停止」或「最多采集 N 条」:
适合资讯或社交动态等近乎无限加载的页面,防止任务无限期运行。
滚动加载的常见坑与解决对策
1. 采到一半突然停下?
- 原因:浏览器在后台会自动休眠长时间无鼠标交互的标签页,导致页面停止渲染新内容,且通常不会报错。
- 对策:采集进行期间,请勿最小化浏览器窗口,保持屏幕处于点亮状态。详细设置见长时间采集防休眠。
2. 漏采数据或某些条目为空?
- 原因:网页从触底到真正渲染出新数据需要网络加载时间,如果滚动频率过快,数据尚未渲染即触发了提取。
- 对策:在需求末尾加上延时要求:
每次向下滚动后等待 3 秒,直到没有新数据为止。
3. 抓下来的图片链接为空?
原因:部分网站用了懒加载——图要等滚进屏幕可视范围,网站才把真实地址交给它。 而采集取的是"这一刻网页上已经渲染出来的内容", 所以没被滚到过的那部分图,取到的地址就还是空的。
对策:先滚一遍把图"滚出来",再滚回来采。 直接在采集需求里把顺序说明白:
先向下滚动到页面底部,把图片全部加载出来,再回到页面顶部,然后开始采集图片地址。
要点是"先加载、后采集"分两步走。 只写"滚动加载采集图片", 很可能是滚到哪儿采到哪儿——图还没加载出来就已经取过了,取到的还是空的。 把"滚到底、再回到顶部、然后才采"这句带上,这个坑基本就避开了。 (滚动是工作流里的一个动作步骤,所以这句话能编进工作流,见上文「操作步骤」。)
如果这个页面本来就不需要滚动(打开就是一整屏图),那要存图可以换用侧边栏 最左边那一列图标里的「图片提取」。 但要说清楚:它只是被动记下网页加载过的图片,不会替你滚动—— 得你自己把网页慢慢往下滚一遍,图才会进列表。详见提取工具。