跳到正文
The Decoder· Matthias Bastian·· 3 小时前AI 评分55

Anthropic 推出 Message Threads 公测,长对话首 token 时间缩短约 35%

Anthropic's Message Threads cut time to first token by 35 percent for long conversations

AI 导读

Anthropic 在 Claude 平台以公测形式发布 Message Threads,不再重发全部对话历史,只传输自上一条消息以来的变更。据官方数据,50 万到 100 万 token 的请求首 token 时间缩短约 35%,线程在请求间加密存于内存、闲置五分钟后过期,token 用量不变,可通过 AWS、Microsoft Foundry 和 Google Cloud 使用。

来源:The Decoder · the-decoder.com