列表与翻页采集
本篇介绍最经典的采集场景:如何让扩展自动识别网页底部的分页控件,逐页点击「下一页」并提取多页列表数据。
开始前准备
- 确保已登录目标网站(若该站需要登录)。
- 在浏览器中打开并停留在目标列表的第一页(如搜索结果页、商品分类页)。
操作步骤
1. 提交采集需求
- 在目标页面点击右上角九头虫图标唤出侧边栏,切至「AI 编译生成」。
- 直接点击快捷模板「翻页提取」,并在生成语句的基础上调整你的目标列名。例如:
采集当前列表的商品标题、现价与店铺名,并自动点击下一页,共采集 5 页。
- 点击发送。
2. 等待编译与工作流生成
AI 会自动检测页面容器范围、各列字段的选择方式以及翻页按钮的触发位置,并自动进行一次首屏试采。
编译完成后,工作流会自动保存到「主工作台」。
3. 启动采集
切换至「主工作台」,点击新生成的卡片上的「手动启动」。
- 运行期间,卡片上会显示当前执行步骤及进度提示。
- 网页会自动向下滚动并点击下一页,在此期间请勿手动操作该网页,也不要将浏览器窗口最小化。
4. 查看合并数据并导出
采集完毕后,切换至「数据存储」:
- 多页提取的所有数据会自动按行无缝合并在同一份数据集中,无需事后手动合并多个文件。
- 点击卡片上的「查看数据预览」可在线快速浏览数据质量。
- 点击「下载此数据集」,选择 Excel 或 CSV 格式即可保存到本地。
翻页模式识别与停止条件
1. 确认页面是否属于本篇范畴
| 页面底部的特征 | 归属类型 | 正确表述方式 |
|---|---|---|
| 有「下一页」、文字页码(1, 2, 3...)或「>」按钮 | 翻页采集(本篇) | “自动点击下一页……” |
| 滚到底部自动加载新内容,没有可见按钮 | 滚动加载 | 见滚动加载采集 |
无需告知 AI 具体的按钮文字
AI 能够自动识别具有翻页语义的元素。无论是中文“下一页”、英文“Next”、箭头符号“>”还是数字页码,只需在需求中写“自动点击下一页”即可。
2. 怎么设定翻页停止时机
- 按明确页数停:
共采集 5 页或采集前 10 页后停止。 - 翻到底为止:
直到没有下一页为止(当按钮变灰、消失或无法点击时自动结束,最省心)。 - 按总条数停:
最多采集 200 条数据。
常见问题排查
- 某几页采出来是空的?
多半是由于网页换页时存在局部刷新过渡动画,扩展点击过快导致还没加载出新列表就触发了提取。
解决办法:在需求末尾加上缓冲时间:每次翻页后等待 3 秒。 - 执行期间停住且数据条数不涨?
检查窗口是否被最小化或被其他全屏软件遮挡,导致浏览器触发了后台冻结机制。详见长时间采集防休眠。
相关文档
- 滚动加载采集 —— 针对瀑布流网页的提取方法
- 列表 + 详情页采集 —— 深入抓取二级子页面正文
- 数据存储与数据预览 —— 数据核对与导出格式说明