葫芦流 · 场景

搭建价格监控工作流

翻页 URL、列表与详情抓取、入库,以及字段变化邮件。

本指南搭建真实监控:多个列表页、商品行、可选详情页、数据集,以及价格变化邮件。请先完成一次《入门》。

已知道要监控哪类公开目录 URL 规律的店主与分析同学。

约 20 分钟 搭好价格监控流水线
  1. 01 生成列表 URL

    添加 range 模式的 URL 生成。模板示例:https://example.com/list?page={page}。param 保持 page,占位符即为 {page}。start=1,end=10,step=1。应用前预览数量——最多 500。

    若页码不是等差(随机查询 id),改用 list 模式,每行粘贴完整 URL。

    卡住时: 生成器不占额度,只给下游抓取喂 URL。

  2. 02 抓取列表

    把生成器输出连到抓取。用 list 模式。抓取字段。保留 title、price 与商品 link/url。该链接列供详情抓取跟随。

    应用后先运行一次,确认 items 像真商品。加详情或存储前先修好发现。

    卡住时: 记住:额度在运行时按实际请求网页次数扣——保存画布不扣。

  3. 03 抓取详情

    再加一个 detail 模式抓取。画 list → detail。将 input_field 设为列表的链接列。抓取仅存在于商品页的字段(描述、SKU、库存)。默认每个抓取节点每次运行最多 20 个 URL——一次要跟更多商品时请提高 limit。

    匹配成功时,详情行会合并列表字段与详情字段。通常在详情后存储,使一行同时有价格与描述。

    卡住时: 详情抓取按请求的 URL 次数计费(1 次请求 = 1 额度)。

  4. 04 入库

    把详情(或跳过详情时的列表)连到存储。key_fields 设为 ["url"](或你的商品 URL 字段)。给数据集起名。运行一次并打开数据集确认行。

    之后运行按该键 upsert——价格就地更新,不会复制商品。

    卡住时: 需要给同事看表格时,从数据集页导出 CSV。

  5. 05 通知与调度

    添加通知:when=field_change,watch_fields 含 price。仅在手动运行看起来正确后,再设 interval_minutes=1440 并将 status 设为启用。再手动跑一次建立基线,然后交给 worker。

    若只关心全新商品,用 when=new 而不是 field_change。

    卡住时: 还在改字段时保持暂停过夜——启用调度会给你发信。

核对清单

公开列表 URL 规律可在无痕窗口打开 · 每个抓取已勾选字段 · 存储有稳定 url 键 · 通知邮箱正确 · 有足够额度试跑 · 确认就绪后再设间隔并激活。

额度与失败

运行失败时,打开该次运行,阅读失败节点的 error 与输出——不要只看工作流列表猜测。URL 生成最多 500 条。抓取节点默认每次运行 20 个 URL(生成更多页时请提高 limit)。额度按套餐发放,运行按实际请求网页次数扣减。额度不足时运行返回 HTTP 402。

失败时先打开该次运行的节点 error,不要只看工作流列表。

接下来

需要翻页细节或节点字段表时继续往下读。