上下文

• 聊天越来越长，速度变慢、费用变高，还会前后矛盾：上下文窗口正在被填满。
• 大型 PDF“没有被正确读取”：要么内容放不下，要么关键部分位于中间。
• 智能体在任务进行到一半时丢失了思路：工具返回的结果堆积过多。
• 同一个问题在不同聊天中得到不同答案：问题在于上下文不同，而不是模型本身。

1. 把重要的内容放在最前面和最后面。 模型对上下文的开头和结尾关注最多。
2. 指令只在系统提示词里写一次，不要零散地穿插在聊天过程中。
3. 继续之前先做摘要。 讨论很长之后，先请模型给出摘要，再开启新对话，把摘要粘贴进去。
4. 附加文件，不要直接粘贴长篇材料；让工具自动分块处理。对于非常长的材料，使用知识库，使只有相关页面进入上下文。
5. 精简智能体中的工具输出：在进入下一步之前，只保留需要的字段，丢弃其余内容。

• 一个话题一个对话。换话题就新开对话。
• 提出复杂问题之前，先把它所依赖的两三个事实贴出来，即使之前已经说过。
• 让模型说明它目前对任务了解什么；它的回答能显示其上下文中有哪些内容。
• 在自动化流程中，偶尔记录一次完整的提示词并通读，你会发现过时的指令和重复的文本。
• 对每次调用都会重复的部分，使用模型提供方的提示词缓存；这样更便宜，也更快。

• 更大的窗口并非没有代价：窗口中的每个 token 都会在每一轮对话中被计费，而且窗口塞得越满，回答质量反而越差，而不是越好。
• “它读完了整篇文档”通常意味着它只是粗略浏览。可以针对某个具体章节提问来验证。
• 附件内容（如网页或邮件）中隐藏的指令，和其他内容一样会进入上下文。应明确告诉模型，把附件当作数据来处理。
• 不同模型的上下文窗口大小不同，一个能放下的提示词，在另一个模型上可能放不下。

上下文是桌面的大小；记忆是你放在抽屉里的东西；知识库则是档案柜。