一次性实验的成本取决于它花了多少。定时运行的 Agent 则相当于你亲手编写的一份订阅。本课讲的是在账单到来之前,就先知道价格。
构建前估算
对于每个模型步骤,需要三个数字:
将三者相乘,再乘以 30。如果月度数字让你犹豫,那就现在重新设计;这比上线后再重新设计便宜十倍。
上线后测量
每次运行都要记录:输入 token、输出 token、模型、耗时,以及是否发生了重试。大多数工作流工具会在步骤输出中显示这些数据;将它们写入表格。关注的是 95 百分位,而不是平均值。决定账单的是那些用量最大的日子。
三个最便宜的修复方法
1. 少发送。 在模型步骤之前去除 HTML、签名和引用回复。限制摘录长度。大多数工作流发送的 token 中,有一半是样板内容。
2. 按难度路由。 用一个小型、便宜的模型做“这条内容是否相关?”的筛选,只有通过筛选的条目才交给能力更强的模型。两个步骤的成本往往低于一个。
3. 缓存不变的内容。 同一篇文章被总结两次就是白白浪费的钱。以 URL 或内容哈希为缓存键,遇到已见过的内容时跳过调用。
延迟
每日摘要不在意秒数,交互式工具则在意。两条规则:
- 为每个模型步骤设置超时(对于摘要而言 30 秒已经足够宽裕),并设置回退方案(“摘要不可用,以下为原始条目”)。
- 工具允许时,让彼此独立的模型调用并行运行。逐个总结十条内容,比实际需要的时间慢十倍。
项目页面的预算一行
这里每个进阶项目都会说明每次运行的成本以及背后的假设。你的项目也这样做:在工作流描述的顶部用一行写明。这是让项目保持诚实的最快方法。


评论(0)
还没有评论,来说第一句。