把本教程一键复制给 Agent 即可

本文有一段关键内容上了锁,Agent 打开链接也看不到它。请先解锁,再一键复制完整内容给 Agent。

高级:为每天运行的 Agent 设好成本和延迟预算

每日工作流的成本 = 单次成本 × 365。如何在构建前估算、构建后测量,以及工作流变得昂贵时三种最便宜的修复方法。

本文由 AI 翻译。 阅读原文

一次性实验的成本取决于它花了多少。定时运行的 Agent 则相当于你亲手编写的一份订阅。本课讲的是在账单到来之前,就先知道价格。

构建前估算

对于每个模型步骤,需要三个数字:

这段关键内容需要登录后解锁

新用户注册就送 10 积分,每天签到再领 1 积分。用 1 积分解锁,以后随时回来都能看。

将三者相乘,再乘以 30。如果月度数字让你犹豫,那就现在重新设计;这比上线后再重新设计便宜十倍。

上线后测量

每次运行都要记录:输入 token、输出 token、模型、耗时,以及是否发生了重试。大多数工作流工具会在步骤输出中显示这些数据;将它们写入表格。关注的是 95 百分位,而不是平均值。决定账单的是那些用量最大的日子。

三个最便宜的修复方法

1. 少发送。 在模型步骤之前去除 HTML、签名和引用回复。限制摘录长度。大多数工作流发送的 token 中,有一半是样板内容。

2. 按难度路由。 用一个小型、便宜的模型做“这条内容是否相关?”的筛选,只有通过筛选的条目才交给能力更强的模型。两个步骤的成本往往低于一个。

3. 缓存不变的内容。 同一篇文章被总结两次就是白白浪费的钱。以 URL 或内容哈希为缓存键,遇到已见过的内容时跳过调用。

延迟

每日摘要不在意秒数,交互式工具则在意。两条规则:

  • 为每个模型步骤设置超时(对于摘要而言 30 秒已经足够宽裕),并设置回退方案(“摘要不可用,以下为原始条目”)。
  • 工具允许时,让彼此独立的模型调用并行运行。逐个总结十条内容,比实际需要的时间慢十倍。

项目页面的预算一行

这里每个进阶项目都会说明每次运行的成本以及背后的假设。你的项目也这样做:在工作流描述的顶部用一行写明。这是让项目保持诚实的最快方法。

读完了?标记一下,记录学习进度。登录
收藏起来,稍后再看登录
对这篇有疑问?向 Ask AI 提问

评论(0)

还没有评论,来说第一句。

登录后参与讨论。登录