斯坦福研究：44% 被广泛引用的 LLM 结论已过期

斯坦福研究者 Owen Queen 和 James Zou 用 8 家开发商在 2024 年 7 月至 2026 年 9 月间发布的 20 个模型，检验了 50 条被广泛引用的 LLM 研究结论，发现其中 44% 已“过期”，34% 明显减弱，仅 16% 仍然成立。两人据此指出这类研究结论的平均寿命较短，许多结论随模型更迭很快失效。 两位研究者建议，论文应记录所用的模型、版本和日期，并公开提示词和分析代码，以便结论能在未来模型上被重新检验。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。