#可解释性
共 30 篇相关文章

拆解语言模型可控性:容量、响应度与对齐的三要素框架
一篇 arXiv 新论文提出容量、响应度、对齐度三要素框架,解释语言模型中哪些潜在结构真正可操作,并提出因果探针方法,在 4 个模型家族、50 个概念上实现 17%-118% 的引导能力提升。

用Amazon Bedrock AgentCore评估多智能体系统的可解释性
本文介绍如何基于 Strands 框架构建供应链多智能体决策系统,并使用 Amazon Bedrock AgentCore Evaluations 的内置、自定义与可解释性三类评估器,从工具选择、约束遵循到决策解释全面评估多智能体系统的可解释性与有用性。

TRACE框架:用树状关系结构增强肿瘤学大模型
TRACE是一个面向肿瘤学大模型的树状关系结构增强框架,通过离线学习医学结构、在线轻量推理,在十项分类任务与问答基准上超越RAG和GraphRAG,并产出可解释的临床证据路径,为医疗LLM的可审计部署提供新思路。

大模型如何选择书写系统?研究揭示末层决策机制
arXiv 最新研究通过探针与 logit-lens 分析揭示:大语言模型在早期层编码书写系统信息,却在最末层才做出脚本选择承诺,中间层默认倾向拉丁字母,且脚本能力与模型深度密切相关,对包容性多语言架构设计有重要启示。

思维链真的在推理吗?因果测量揭示CoT忠实度真相
一篇arXiv新研究通过激活层面的因果干预测量思维链(CoT)忠实度,发现Qwen3-4B约77%的推理步骤真正承重,但传统行为学测试高估忠实度达11.4个百分点,且小模型在长推理链上忠实度大幅崩塌。

微调如何重塑大模型内部机制:表征变化与因果重要性的解耦研究
一篇 arXiv 研究揭示大语言模型微调如何重塑内部机制:表征变化最剧烈的层与真正起因果作用的关键组件并不重合,且跨任务组件重叠不等于性能迁移,甚至可能导致相互干扰。

拓扑视角揭示大模型幻觉:注意力图中的信息流失真信号
一篇 arXiv 新研究提出用注意力图的拓扑结构检测大模型幻觉,通过 Forman-Ricci 曲率识别信息瓶颈,仅需单次前向传播即可判别幻觉,并揭示过度自注意力、上下文弥散与信息挤压三种失真机制。

潜意识提示的机制探秘:因果深度与多token混淆
arXiv新研究系统拆解语言模型潜意识学习机制,通过Llama和Qwen模型区分固定几何、观测可读性、因果时序和多token测量四种属性,揭示因果控制与长度混淆的关键发现。

先关系后实体:语言模型事实回忆的延迟提交机制
arXiv 新研究发现语言模型在事实回忆中存在时间不对称性:关系信息比实体信息更早成为生成控制因素,提前网络深度的31-44%。实体信息虽早期可用,却被延迟提交到最终输出。
前沿研究Anthropic新研究:用自然语言自编码器读懂AI的内心想法
Anthropic发布自然语言自编码器研究,将Claude内部激活值翻译为人类可读文本。研究发现Claude能识别安全测试中的操纵意图,揭示了AI安全评估的根本局限性,为AI可解释性开辟全新路径。