MIT 新技术让 AI 决策过程更透明
在医疗诊断、自动驾驶等高风险场景中，用户需要理解计算机视觉模型为何做出特定预测，以便判断是否应该信任其输出。概念瓶颈建模（ Concept Bottleneck Modeling ）正是实现这一目标的主流方法。它强制深度学习模型使用人类可理解的概念集来进行预测，从而解释决策过程。
麻省理工学院的研究人员近日提出了一种创新方法，能够从模型自身学习到的特征中自动提取概念，而非依赖专家预定义的标签。这使得概念的使用更加精准，模型给出的解释也因此更加清晰可靠。该成果由 MIT 计算机科学与人工智能实验室（ CSAIL ）的研究团队完成，论文将在国际学习表征会议（ ICLR ）上发表。
传统概念瓶颈模型的局限在于，预定义概念往往缺乏针对性。即便由临床专家设定“集群棕色斑点”“杂色色素沉着”这类概念用于判断黑色素瘤，它们仍可能与具体任务无关或细节不足，导致模型准确率下降。更棘手的是，模型有时会暗中使用未被察觉的特征来预测，这被称为信息泄漏现象。
研究团队另辟蹊径：既然模型已在大量数据上训练，它很可能已经学到了完成特定任务所需的概念。研究人员设计了一套方法，从目标模型中提取既有知识并转化为人类可读的文字描述。
该方法首先使用稀疏自编码器（ Sparse Autoencoder ）从模型学习到的特征中筛选出最关键的信息，将它们重构为若干概念。随后，一个多模态大语言模型（ Multimodal LLM ）将这些概念翻译成通俗语言，同时为数据集中的每张图像标注概念的存在与否。基于这份标注数据，研究团队训练了一个概念瓶颈模块来识别这些概念，并将它嵌入目标模型，强制其仅使用提取出的概念集进行预测。
为防止模型绕过概念使用未知特征，研究人员将每个预测限制为最多五个概念。这一约束不仅阻止了信息泄漏，还迫使模型挑选最具相关性的概念，使解释更易理解。
实验结果表明，在鸟类物种识别、皮肤病变诊断等任务上，该方法取得了现有概念瓶颈模型的最高准确率，同时提供了更精确的解释。生成的 concepts 对数据集中的图像更具针对性。
曾是米兰理工大学的访问研究生的第一作者安东尼奥·德·桑蒂斯表示。“从根本上，我们试图读懂计算机视觉模型的‘思维’。概念瓶颈模型让用户能够理解模型在想什么、为何做出某个预测。由于我们的方法使用了更优质的概念，它能够提高准确率，并最终提升黑箱 AI 模型的可问责性。”
研究团队计划进一步解决信息泄漏问题，可能通过增加额外的概念瓶颈模块来堵住漏洞。同时，他们打算使用更大的多模态大语言模型来标注更多训练数据，从而提升性能表现。
德国维尔茨堡大学数据科学讲席教授 Andreas Hotho 评价：“这项工作将可解释 AI 推向了一个非常有前景的方向，在符号 AI 和知识图谱之间建立了自然桥梁。通过从模型自身内部机制而非仅从人类定义的概念中推导瓶颈，它提供了一条通向更忠实于模型的解释的路径。”
该研究得到了 Progetto Rocca 博士奖学金、意大利大学与研究部、泰雷兹阿莱尼亚航天公司以及欧盟“下一代欧盟”项目的支持。
创艺洞察
这项研究的价值在于它重新定义了概念瓶颈模型的构建逻辑。不再是从外部向模型输入人类预设的概念，而是从模型内部“挖掘”它已经学到的知识。这种内省式的方法，本质上解决了一个根本矛盾：人类定义的概念与模型实际使用的特征之间往往存在错位。当模型被迫使用自身提炼出的概念时，它的解释自然会更贴近真实的决策路径，而非表面上的人类语言包装。不过，若要让这种方法真正服务于医疗等高风险领域，还需要在防止信息泄漏与保持预测精度之间找到更稳固的平衡点。从长远看，它或许能为“可解释 AI”与“神经符号系统”的融合开辟出一条可行的技术路径。
