Hugging Face 发布 StateBench 状态追踪基准

Hugging Face 推出 StateBench，一个评估语言模型在长文档中追踪实体状态变化能力的基准，按更新操作的复杂度分为 r-trivial、aperiodic、soluble、general finite 四个难度级别，理论基础为 Krohn–Rhodes theory。 评测结果显示：Gated DeltaNet 与混合架构模型在 r-trivial、aperiodic 和 soluble 三类问题上几乎完美泛化到数万次赋值的最长序列；但在 soluble 和 general finite 问题上，输入越长准确率下降越明显，最长的 general finite 问题准确率降到 13% 或更低。该框架目前尚未覆盖某些其他设定。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。