跳到正文
热点事件历史事件

研究:编程agent框架差异多为噪声,成本差异却显著

1 篇报道1 个报道来源3 天前更新

先了解这件事

AI 综述

Liu 和 Han 的研究用 Qwen3.6、Qwen3.8、Deepseek-V4-Flash、GLM-5.3-Flash 和 HY4-Preview 五个模型,在 Claude Code、OpenCode 和 mini-SWE-agent 三个框架上对比 SWE-bench 任务表现,发现换框架带来的结果波动与同设置重跑相当,通过率差异多在测量噪声内。 研究还发现成本差异显著,框架的“花哨”功能推高了费用但不提升通过率。唯一稳定落后的是 OpenCode,最多落后九分。 测试使用 SWE-bench Verified 最难的 45 个任务加 447 个任务池,全部离线运行;闭源模型 Opus 5 仅在 Claude Code 中运行。

AI 根据报道生成 · 2 天前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月24日
  1. The Decoder
    研究称花哨编码 Agent 框架推高成本但不提升通过率

    Liu 和 Han 的研究用 Qwen3.6、Qwen3.8、Deepseek-V4-Flash、GLM-5.3-Flash 和 HY4-Preview 五个模型在 Claude Code、OpenCode 和 mini-SWE-agent 三个框架上测试,发现换框架带来的任务结果波动与同设置重跑相当,通过率差异多在测量噪声内,唯一稳定落后的是 OpenCode,最多落后九分。