读取已有数据集
历史采集到的数据资产可以在新的采集任务中被二次调用——例如:对比前天采集的商品价格,只筛选降价商品,或者过滤已抓取过的历史文章 ID 实现增量更新。
你不需要手动导出文件再重新上传,直接在采集需求里用自然语言指定即可。
一、需求编写方式与业务场景
在写采集需求时,像平常说话一样指出要引用的数据集:
读取上次采集的「数码商品列表」数据集,与本次抓取的价格比对,只保留价格下降的商品。
参考之前保存的「文章库」,跳过已经采集过的文章链接,只抓取今天的新增文章。
AI 在编译期会自动调用系统工具在你的本地存储中检索该数据集。
如何准确指称数据集
直接使用你在「数据存储」卡片上看到的主标题(即采集它的工作流名称)。命名越具体(如「数码新品比价」优于「比价」),AI 检索的准确度越高。
二、认清卡片上的两行名称
在「数据存储」页面的每个卡片上,均展示了两个层级的名称,其定位完全不同:
| 显示位置 | 名称属性 | 作用与使用场景 |
|---|---|---|
| 卡片粗体主标题 | 工作流名称 | 供人辨识。日常在需求中点名、查看预览时,直接指称这个名字即可。 |
| 标题下方等宽小字 | 数据集系统标识 | 供机器唯一寻址。这是本机的唯一底层 ID。平时无需手动记忆,仅在出现名称歧义、需要精确核对时参考。 |
三、费用与额度说明
本地读取完全免费
- 读取本地历史数据集完全在浏览器本地完成,不消耗任何 AI 额度,也不计入任何导出条数。
- 无论是免费用户还是会员,均可不受限制地读取任意已有数据用于对比和二次处理。
四、执行日志说明
工作流执行到读取数据集节点时,在执行日志中会展示标准的分页进度行:
已读取数据集「数码商品列表」页号 1:500 行(共 1200 行)
读取到最后一页时,日志会打印:
已读取数据集「数码商品列表」页号 3:已到末尾,没有更多行(共 1200 行)
「已到末尾」代表正常完成
扩展为了保证性能,采用分页流式读取模式(默认每页 500 行)。看到“已到末尾,没有更多行”表示全量数据已顺利加载完毕,属于标准完成信号,切勿误判为报错。
五、读取异常与排查对策
1. 运行中报错:“读数据集失败:本机没有叫「某某」的数据集”
- 原因:AI 未能在本机数据库中找到指定名称的数据集,可能名称已被修改或记忆有误。
- 解决方式:打开「数据存储」,核对该数据集卡片下方的等宽小字标识,回到「AI 编译生成」明确指定该精确标识,更新后点击「恢复」继续。
2. 编译时提示:“目标数据集未在当前环境中检索到”
- 情况 A(确实没采过):这是个全新的任务,依赖的数据源尚未真正采集过,先跑一遍前置任务生成数据。
- 情况 B(先有鸡后有蛋):该数据集是当前多步骤复合工作流的前半段负责生成的。此时该提示属于正常的预先告警,完全可以安全忽略,编译完成后实际跑起来就能正常接上。