列表 + 详情页采集
本篇介绍如何实现二级深度采集:先在列表页拿到所有条目的链接,再自动逐个点击进入详情页抓取正文、规格或联系方式。
开始前准备
- 若网站需要查看权限,先在浏览器中手动登录。
- 打开并停留在列表总览页(不要停留在某一篇的具体详情页)。
什么时候需要这种采集方式
列表页往往只展示精简摘要,详细数据隐藏在内页:
- 新闻/博客:列表只有标题和发布时间,正文与配图需要点进详情页。
- 电商商品:列表只有主图和标价,商品详情参数、SKU 规格需要进入内页。
- 招聘求职:列表只有岗位名称和薪资,岗位职责与投递邮箱在岗位详情中。
操作步骤
1. 编写采集需求
打开目标列表页,唤出侧边栏切到「AI 编译生成」。可以直接点击模板「子页面抓取」,并明确指出列表要什么、进详情页又要什么:
根据列表采集详情页内容。列表页提取标题和发布时间,再依次打开详情页提取正文全文与作者。
2. 等待编译(耗时略长于常规任务)
此模式下 AI 不仅要分析列表,还会亲自点开其中一个详情页抽样分析,因此编译时间通常在 30~60 秒。
期间页面会自动打开新标签页并自动关闭,请勿手动干预。
编译确认卡片
在分析复杂的详情跳转逻辑时,AI 可能会弹出卡片询问:“采完详情后,回到原列表继续下一条吗?”,直接点击默认确认按钮即可。
3. 启动任务
回到「主工作台」,点击对应卡片上的「手动启动」。
运行时的正常现象(请勿惊慌):
你会在浏览器上方看到扩展自动新开一个标签页、迅速提取数据、随即自动关闭,然后紧接着打开下一个。
这是扩展在全自动翻阅内页,并非网页弹窗失控。 你原本开着的其他个人网页不会受到影响。
4. 预览与导出
全部采集完成后,切到「数据存储」:
列表字段与详情页字段会自动拼合在同一张表格的同一行中(例如:每行既有列表提取的标题,也有内页提取的长篇正文)。确认无误后点击「下载此数据集」导出为 Excel 或 CSV。
效率提醒与避坑
1. 初次尝试,先用小批次验证
逐个打开详情页属于深度采集(采 100 篇等于自动打开并关闭 100 次页面)。
强烈建议第一次调试时限制条数,在需求末尾加上:
仅采集前 10 条详情页作为测试。
等导出的表格确认字段完全正确后,再在卡片上点击修改,去掉条数限制跑全量。
2. 详情页正文抓取为空?
- 原因:部分网站详情页体量较大(包含动态富文本编辑器或评论区),标签页刚打开还没加载完全就被关闭了。
- 对策:在需求中追加页面停留时间:
打开详情页后等待 2 秒再进行数据提取。
3. 长时间挂机运行防中断
深度采集通常耗时较久。运行期间请务必将浏览器窗口保持在桌面最前层,切勿最小化,防止标签页被系统智能挂起。详见长时间采集防休眠。