工作流与节点配置

用白话说：什么是工作流？

工作流是一条处理网页数据的小流水线。你在画布上放方块（节点），用箭头连起来。流水线运行时，每个方块做一件事，再把结果交给下一个方块。

常见分工：生成许多分页 URL → 把每个页面读成行 → 把行存进表 → 有新行或价格变动时给你发邮件。葫芦流在云端托管这条线，因此可以在你离线时按调度运行。

你不是在写爬虫。你配置「读什么、放到哪里」。产品会从样例页发现列，由你选择保留哪些列。

工作流级设置

这些设置属于整条流水线，不属于单个节点。在工作流标题区或通过 API 创建/更新时设置。

运行需要剩余额度（保存画布不扣）。不足时 HTTP 402，请升级或等待下个周期。

提示：按业务目的命名（「竞品 A 价格」），不要用难认的技术绰号。邮箱多起来以后会感谢现在的自己。

图是如何保存的

你看到的是方块和箭头。内部保存为 graph：节点列表 + 边列表。每个节点需要唯一 id 字符串（编辑器会生成）、type 与 config。

边使用 from 与 to（节点 id）。from 是上游。不要用 source/target——API 不认。运行器会排序，保证上游先完成。环会被拒绝。

{
  "nodes": [
    { "id": "s1", "type": "scrape", "config": { } },
    { "id": "st1", "type": "store", "config": { } }
  ],
  "edges": [
    { "from": "s1", "to": "st1" }
  ]
}

若把文档里的 JSON 拷进 API，请保持节点 id 稳定——通知会与同一 node id 的上次输出比较。

数据如何沿边流动

多数节点产出包含 items（行）以及常有的 fields（列定义）的对象。下一节点把它当作输入。若多个箭头指向同一节点，运行器会按规则合并上游输出——对新手而言，保持一条清晰主链最简单。

URL 生成忽略输入，只产出网址列表。存储与通知从相连上游读取数据行（或本次运行中首个可用的数据行）。它们不会再去抓网页。

列表→详情较特殊：详情抓取从每条上游行读取 URL（经 input_field 或 link/url/href），并把父列表字段合并进详情行，这样既保留列表上的标题价格，又有详情页的描述。

URL 生成

作用：不用手敲就生成许多列表页 URL。它从不下载页面，也不占额度。可以把它想成填 page=1…N 的表格公式。

输出始终是 items: [{url}, …]，带简单的 url 字段。输出只应连到抓取。上限：每个生成器配置最多 500 条 URL。

什么时候用： 需要同一列表模式的第 1、2、3…页，或有一份固定的种子 URL 要粘贴。

配置示例

{
  "mode": "range",
  "template": "https://example.com/list?page={page}",
  "param": "page",
  "start": 1,
  "end": 10,
  "step": 1
}

{
  "mode": "list",
  "urls_text": "https://example.com/a\nhttps://example.com/b"
}

配置后先在界面预览/校验将生成多少条，再应用。若生成超过 20 条，请提高下游抓取的 limit。

抓取

作用：打开页面并抽取结构化行。工作流运行时，每实际请求 1 个网页扣 1 额度。没有可用的抓取，存储和通知就没有有用的数据。

两阶段心智模型：（1）发现——用白话写 requirement，引擎提出 fields 与 fetch_profile。（2）抽取——之后运行用你勾选的 fields（+ profile）反复拉这些列。正式依赖运行前务必先应用已选字段。

list 模式从列表页返回多条。detail 模式每个 URL 返回更丰富的一行，并可合并上游列表字段。默认每次运行最多 20 个 URL——生成器喂了更多页时请提高 limit。

什么时候用： 任何需要从网页取数的时候。先从一个抓取开始；只有需要详情页时再加第二个抓取。

可能见到的高级项：scope_xpath、item_xpath（来自发现）、url_from（强制 URL 列表）。输入应来自「URL 生成」或「抓取」，不要来自「存储 / 通知」。

配置示例

{
  "url": "https://example.com/list",
  "mode": "list",
  "requirement": "title, price, url",
  "limit": 20,
  "fields": [
    { "name": "title", "label": "title", "type": "text" },
    { "name": "url", "label": "url", "type": "url" }
  ]
}

{
  "mode": "detail",
  "input_field": "url",
  "requirement": "description, sku",
  "limit": 20,
  "fields": [
    { "name": "description", "label": "description", "type": "text" }
  ]
}

额度按实际请求网页次数计。先单独测列表抓取。数据行不对时，先修好发现再加存储。

存储

作用：把上游 items 写入可浏览、可导出、可用 API 查询的数据集（表）。存储不占配额。因为指向具体表，所以不做可复用预设。

每条入行按 key_fields 哈希 upsert。相同键→更新；新键→插入。这样每日监控能刷新价格而不复制商品。

什么时候用： 只要你需要可留存的历史或导出——认真的工作流几乎都以存储结尾。

配置示例

{
  "dataset_name": "products",
  "key_fields": ["url"],
  "store_fields": ["title", "price", "url"]
}

第一次存储成功后，打开「数据集」确认列与几行样例。需要表格时从那里导出 CSV/JSON。

通知

作用：与同一通知节点上次运行比较，条件满足时发邮件。它不爬网页，只读取上游 items（通常来自抓取或存储）。

第一次运行往往没有可比较的基线——可能收到一批「新」行，或没有任何邮件，取决于 when。测试告警时建议连跑两次。节点测试支持 dry_run（不发信）。

什么时候用： 监控类任务：新上架、降价，或任意关注字段变化。纯一次性采集可跳过通知。

配置示例

{
  "email": "ops@example.com",
  "when": "field_change",
  "watch_fields": ["price"],
  "subject": "[HuluFlow] price change"
}

把通知接在你关心的那次抓取（或存储）之后。价格告警选「关注字段变化时」，监控字段填 price，并保证上游有稳定的网址键。

如何连线（可行模式）

编辑器会拦下许多错误连线（例如 URL 生成不能直接进存储）。优先用这些模式：

保持一条主链。旁支可以有，但对新手更难排查。

• URL 生成 → 抓取（列表）— 生成的网址成为要打开的页面。
• 抓取（列表）→ 抓取（详情）— 将「链接字段」设为列表里的链接/URL 列；详情会合并列表与详情字段。
• 抓取 → 存储 — 行按去重键写入数据集。
• 抓取或存储 → 通知 — 通知读取上游数据行；关心已有记录上的数值变化时，选「关注字段变化时」。

故事示例：生成目录第 1–5 页 → 列表抓取（标题、价格、网址）→ 详情抓取（描述）→ 按网址存储 → 对价格做字段变化通知。额度按实际请求网页次数计费。

限额、额度与导出

URL 生成：单节点最多 500 条。抓取：默认每次运行 20 个 URL（可用 limit 调整）。额度：本周期抓取节点实际请求网页次数——不是「每个抓取节点占一个名额」。额度不足 → 运行 HTTP 402。

数据集：浏览时有控制台分页与 API 页大小限制；导出支持 CSV/JSON，最多约 10 万行（更大则 413）。抓取失败会体现在运行里的节点 error——打开运行详情查看。