从接口采集数据
有些网页翻页非常卡顿,或者页面上展示的信息不全,但其实数据早就由后台接口一次性打包发送了。
你不需要懂任何技术代码
这一篇不是教你去按 F12 抓包。
你依然只需要用大白话描述需求。AI 在编译时会自动分析网络请求,自行判断是直接抓取网页元素,还是直接截取后台数据包。
本篇的作用是让你了解它的运作机制,并在编写需求时更顺畅。
什么时候这种方式最有效
当你遇到以下情况时,从接口采集能带来极大的速度提升:
| 页面常见现象 | 为什么接口采集更好 |
|---|---|
| 滚动或翻页时转圈很久 | 页面渲染大量 HTML 消耗过高,直接取后台原始数据无需等待渲染 |
| 一翻就要翻几十页 | 很多网站后台请求一次性返回了数百条,直接截取只需请求一次 |
| 页面上显示的字段不全 | 后台数据包中往往包含前端未展示的隐藏字段(如商品 ID、后台类目) |
编写需求与操作建议
1. 需求依然正常用大白话写
直接说明你要的具体字段与范围即可:
采集当前页面的商品列表,包含商品标题、价格、月销量,自动翻页直到最后一页。
AI 在编译时会自动完成以下三步:
- 嗅探网络流量:自动排查该页面此前产生的所有数据接口请求。
- 抽取抽样验证:自动尝试从最匹配的接口中提取你指定的字段。
- 无缝封装流程:确认能取到完整字段后,直接将请求逻辑固化到工作流中。
整个过程不需要你手动挑选 API,也不会弹出一堆英文网址让你确认。
关键技巧:编译前,先让页面“动一下”
浏览器扩展无法凭空预测未发生的请求。接口只有在触发后才会被记录。
建议做法:打开目标网页后、点击 AI 编译前,自己手动翻一页、向下滚动一段、或点开一个详情页,让网页先发起一次网络加载。这样 AI 就能瞬间捕捉到数据包,省去漫长的排查等待。
需要用户人工介入的场景
通常 AI 会完全自主决策,仅在一种情况下会弹窗询问你:
页面存在多个相似的数据源(例如主列表数据与侧边推荐数据同时由不同接口返回,AI 无法断定你要哪一个)。此时对话区会弹出一张提问卡片,点击确认你要的区域即可。
自动弹出的「清洗预览」卡片
若你在需求中要求了格式转换(如“去掉单位”“只要数字”),对话区会展示一张「清洗预览」卡片,对比清洗前后的数据形态。该卡片仅供核验,无需点击任何按钮。
局限与避坑
1. 需要特定操作才触发的请求
如果数据必须在点击了特定筛选按钮(如“按销量从高到低排序”)之后才加载,纯打开页面是抓不到的。
应对方法:在需求中把前置点击动作写清楚:
先点击页面上的「按销量排序」按钮,再采集商品列表中的标题和价格。
2. 想要的数据分散在不同请求里
例如“商品基本信息”与“实时库存/评价数”来自两个完全不相干的独立接口。
应对方法:不要硬塞进一条需求中。建议拆成两个独立工作流分别采集,避免 AI 混淆导致漏采。
3. 网站结构升级导致数据为空
如果网站后台更换了接口格式,工作流可能会失效。无需技术排错,直接在「AI 编译生成」中重新针对新页面发送一次需求即可重新适配。