研究称花哨编码 Agent 框架推高成本但不提升通过率
Liu 和 Han 的研究用 Qwen3.6、Qwen3.8、Deepseek-V4-Flash、GLM-5.3-Flash 和 HY4-Preview 五个模型在 Claude Code、OpenCode 和 mini-SWE-agent 三个框架上测试,发现换框架带来的任务结果波动与同设置重跑相当,通过率差异多在测量噪声内,唯一稳定落后的是 OpenCode,最多落后九分。
Liu 和 Han 的研究用 Qwen3.6、Qwen3.8、Deepseek-V4-Flash、GLM-5.3-Flash 和 HY4-Preview 五个模型在 Claude Code、OpenCode 和 mini-SWE-agent 三个框架上测试,发现换框架带来的任务结果波动与同设置重跑相当,通过率差异多在测量噪声内,唯一稳定落后的是 OpenCode,最多落后九分。
GitHub 发布开源离线基准 ReviewBench,用于评测 AI 代码审查 Agent,现已开放使用。基准基于 1.039 亿 GitHub 真实 pull request 构建分布,语料包含 19 种语言的 219 个公开 PR,采用多来源 golden set、Claude Sonnet 5 作为 LLM 评分器,资深工程师独立复核与基准一致率达 96.6%。
Toby Ord 分析称 swarm scaling 是一种新的推理扩展方式:4 个智能体的群体需要约两倍 token 但因并行运行可在一半时间内完成同任务;智能体数量扩 10 倍仅获得 10λ(约 3-5 倍)收益,存在收益递减。