SPEX 与 ProxySPEX：面向 LLM 的大规模交互识别方法解析

Berkeley AI Research 介绍 SPEX 与 ProxySPEX 两种算法，用于在特征归因、数据归因和机制可解释性中大规模识别对模型输出有影响的关键交互。方法基于消融思想，利用稀疏性和低阶性把交互搜索转化为稀疏恢复问题；ProxySPEX 进一步利用层级性，以约 10 倍更少的消融达到与 SPEX 相当的性能，并支持扩展到数千个特征的上下文。