研究:编程agent框架差异多为噪声,成本差异却显著
热点事件历史事件
研究:编程agent框架差异多为噪声,成本差异却显著
1 篇报道1 个报道来源3 天前更新
先了解这件事
AI 综述
Liu 和 Han 的研究用 Qwen3.6、Qwen3.8、Deepseek-V4-Flash、GLM-5.3-Flash 和 HY4-Preview 五个模型,在 Claude Code、OpenCode 和 mini-SWE-agent 三个框架上对比 SWE-bench 任务表现,发现换框架带来的结果波动与同设置重跑相当,通过率差异多在测量噪声内。 研究还发现成本差异显著,框架的“花哨”功能推高了费用但不提升通过率。唯一稳定落后的是 OpenCode,最多落后九分。 测试使用 SWE-bench Verified 最难的 45 个任务加 447 个任务池,全部离线运行;闭源模型 Opus 5 仅在 Claude Code 中运行。
AI 根据报道生成 · 2 天前更新
最新进展10月24日 17:21
研究称花哨编码 Agent 框架推高成本但不提升通过率报道时间线
沿着报道,了解事件的不同侧面。
10月24日
- The Decoder研究称花哨编码 Agent 框架推高成本但不提升通过率
Liu 和 Han 的研究用 Qwen3.6、Qwen3.8、Deepseek-V4-Flash、GLM-5.3-Flash 和 HY4-Preview 五个模型在 Claude Code、OpenCode 和 mini-SWE-agent 三个框架上测试,发现换框架带来的任务结果波动与同设置重跑相当,通过率差异多在测量噪声内,唯一稳定落后的是 OpenCode,最多落后九分。