OpenAI 为 GPT-6 推出改进的提示词缓存系统与诊断工具

更高的缓存命中率，以及帮助持久化智能体运行更快、成本更低的新工具。

GPT‑6 让持久化智能体能够连续数小时处理复杂任务，从重构代码库到产出经过充分调研的文档和演示文稿。支撑这些智能体的应用会发起一系列相互依赖的 API 请求，往往会沿用早前轮次中的相同指令、工具定义和上下文。OpenAI 会缓存这些共享上下文，以便在多个请求之间复用计算，从而缩短响应时间，并为开发者提供最高 90% 的缓存输入 token 折扣。

借助 GPT‑6 系列，我们推出了改进的提示词缓存系统，默认即可实现更高的缓存命中率。我们现在对在 30 分钟窗口内复用的符合条件的共享前缀提供缓存折扣。我们还推出了新工具，帮助开发者监控缓存性能、诊断未命中情况，并选择要缓存提示词的多少部分。

监控缓存并诊断缓存未命中

全新的 提示词缓存仪表盘⁠ 可展示你的应用输入中有多少来自缓存。你可以追踪一段时间内的命中率，并使用输入构成图表来对比已缓存和未缓存的 token。这些视图有助于你发现缓存命中的下降，并评估应用改动对缓存性能的影响。

当你遇到意外的缓存未命中时，可使用 提示词缓存诊断工具⁠ 来了解发生了什么。将某个请求与近期的响应进行对比，以识别导致无法复用缓存的模型、工具、设置或输入变化。受影响的 token 估算数量可帮助你评估影响规模，并决定如何优化你的集成以最大化缓存命中率。

为你的应用优化缓存

选择要缓存的内容。 显式缓存断点让你可以选择要复用哪些提示词前缀。更新后的 提示词缓存指南⁠ 解释了如何使用它们、缓存前缀保持有效的时间，以及工具和输入的变化如何影响复用。

调整推理强度而不破坏缓存。 在 GPT‑6 模型上，你现在可以在多次响应之间 更改推理强度⁠ 而不破坏缓存。对于更难的任务可以提高强度，对于常规的后续跟进可以降低强度，只需追加一个 configuration_update ，同时保持请求级别的推理强度不变。这让你可以调整任务所需的推理量，同时保留可复用的上下文。

在工具和指令发生变化时保留缓存。 当你的智能体的工具使用需求发生变化时，保持工具定义、schema 和顺序稳定，以便较早的上下文保持可复用。使用 allowed_tools 让只有相关的工具可被调用，或者在不需要工具时将 tool_choice 设为 none，而不是移除定义。使用新的 developer 消息在上下文末尾追加新指令，以覆盖较早的指令。参见我们的 关于管理工具变更的指南⁠ 。

预热缓存以降低延迟。 预热⁠ 会提前准备好已知上下文，这样当请求到达时，模型可以更快开始响应。例如，应用可以在启动期间预热共享指令、工具定义或参考资料，在用户提出第一个问题之前完成。这样就把处理过程移出了用户的等待时间。

这些可选控制项建立在引擎的默认性能之上，帮助你根据自身工作负载定制缓存。

· 在 提示词缓存仪表盘⁠ 中监控缓存命中率。

· 使用 诊断工具⁠ 排查意外未命中。

· 按照 提示词缓存指南⁠ 改进你的配置，或者 使用 Codex⁠ 来审查代码、应用改进并衡量结果。