数据存储与数据预览
九头虫 Agent 采集到的所有数据都会统一存放在本地的「数据存储」模块中。本篇介绍如何管理、在线核对以及清洗这些本地数据。
进入数据管理中心
点击侧边栏左侧导航栏的「数据存储」按钮,进入数据列表视图。
每个独立的数据采集任务对应一张独立的数据集卡片。若尚未执行过任何任务,界面将显示「暂无采集记录」。
数据集卡片信息解析
每张卡片记录了该数据集的核心元数据:
| 元素位置 | 展示内容 | 说明 |
|---|---|---|
| 网站图标 | 目标站点的 Favicon 图标 | 鼠标悬停可查看采集来源的网页基础域名。 |
| 加粗大标题 | 工作流名称 | 点击可在独立标签页打开全屏数据预览。 |
| 等宽小字 | 数据集系统标识 | 系统分配的底层唯一 ID,供高级调用或排查时精确定位。 |
| 字段与条数标签 | 如「5 个字段」「1,200 条数据」 | 统计当前数据集累计沉淀的行列规模。 |
| 更新时间 | 最后一次追加数据的时间戳 | 方便识别最新采集的批次。 |
卡片提供的快捷操作
- 点击主标题:在新标签页唤出全屏表格预览视图。
- 「下载」按钮:弹出格式弹窗,支持导出 CSV、Excel、TXT、JSON、MD。详见导出数据。
- 「上传飞书」按钮:将本数据集一键推送写入飞书多维表格。详见写入飞书多维表格。
- 垃圾桶图标:彻底删除该数据集及其本地存储的全部记录。删除操作不可撤回,重要数据请在删除前先行下载备份。
全屏数据预览视图
点击卡片主标题,系统将在独立的浏览器新标签页中打开完整的数据网格。
1. 顶栏操作区
- 左侧显示数据集标识、累计行数以及末次采集更新时间。
- 右侧常驻「下载」与「上传飞书」快捷操作,支持边核对边导出。
2. 字段排列与系统列
- 自定义业务列:按你在需求中描述的先后顺序排在前面(如标题、售价、销量)。
- 系统内置追踪列:表格最末尾会自动附带两列系统字段,方便回溯源头:
采集时间:每条数据被抓取并写入本地的精确时间点。数据来源页:该条数据采集自哪个具体 URL。在跨多页面或多详情页抓取时,能快速区分数据出处。
3. 在线快捷列类型切换
将鼠标悬停在任意列的表头上,点击弹出的类型按钮,可临时切换展示模式:
- 图片:直接在单元格内渲染缩略图预览(抓取图片链接时极其实用,无需逐个点开链接核验)。
- 链接:以可点击的超链接形式呈现。
- 文本:以普通字符串形式呈现。
渲染类型不改动底层数据
预览界面的类型切换纯粹为了方便视觉审阅,刷新页面后会重置,不会改动已经存盘的数据原本格式,也不会影响最终导出的数据内容。
4. 极速分页加载
预览表格底部提供每页 50 行 或 100 行 的分页切换控件。采用按需分片渲染架构,即使数据量达到数万条,预览表格也能实现秒开且不卡顿浏览器。
核心机制与疑难解答
1. 为什么多次执行后会出现重复数据?
数据集的设计为「只追加、不覆盖」模式。
同一个工作流如果每天手动启动一次,每次抓到的新数据都会直接追加在旧数据末尾。
- 如果需要每次都保持干净的全新数据,在重新执行前先点击垃圾桶删除历史数据集即可。
- 如果希望自动实现增量更新并过滤旧条目,见读取已有数据集。
2. 预览中发现个别列内容为空?
通常是因为网页未加载完毕即触发了提取,或者目标站点的某些条目本身缺省该字段。可参考采不到数据怎么办在需求中适度添加等待时间。