AWS 讲解 Amazon Bedrock 上 OpenAI 模型的提示词缓存用法

AWS 在 Machine Learning Blog 发布教程，讲解在 Amazon Bedrock 上对 OpenAI 模型（如 gpt-6-astra）使用提示词缓存来优化 AI Agent 调用。Agent 每轮对话都要重发工具定义、指令和历史，缓存可保存 prefill 阶段的 KV 状态并复用，以降低成本、提升响应速度。 按教程说明，可复用前缀须达到 1,024 个 token；缓存内容在最近一次写入或成功复用后至少 30 分钟内有效。复用要求模型、AWS 账号和区域相同且有匹配前缀；缓存写入费用为正常输入价格的 1.25 倍。

AI 根据报道生成 · 21 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。