Eric Bigelow
可解释性AI初创公司Goodfire的研究员，哈佛心理学博士，专注于大语言模型内部机制与可解释性研究，提出神经文本生成中分叉路径理论
时间轴 (近 90 天)
Eric Bigelow 的论文《Forking Paths in Neural Text Generation》的实验方法是在推理的每个token位置重采样30种以上的后续生成结果，并统计每种后续对应的最终答案分布
在该研究中，改变'kWh'书写时的左括号token会改变模型最终输出的答案，表明命运转折点往往不是语义重点
Eric Bigelow主张AI的决策很大程度发生在采样环节，而非模型内部的预先规划
Eric Bigelow主张上下文学习的广义定义是：所有不在模型权重内部发生、运行时动态改变模型行为的过程
Eric Bigelow认为7-8B参数区间是可解释性研究的黄金甜点区间，零样本就能涌现丰富行为且算力开销可控
许多前沿可解释性研究高度依赖中国开源权重模型，因为美国开源模型在最高能力段存在差距
Eric Bigelow认为很多能力本就存在于预训练基础模型中，后续的SFT、RL、Agent微调更多是对分布做打磨锐化而非凭空赋予新能力
全部知识事实 (7)
Eric Bigelow 的论文《Forking Paths in Neural Text Generation》的实验方法是在推理的每个token位置重采样30种以上的后续生成结果，并统计每种后续对应的最终答案分布
50%待验证在该研究中，改变'kWh'书写时的左括号token会改变模型最终输出的答案，表明命运转折点往往不是语义重点
50%待验证Eric Bigelow主张AI的决策很大程度发生在采样环节，而非模型内部的预先规划
50%待验证Eric Bigelow主张上下文学习的广义定义是：所有不在模型权重内部发生、运行时动态改变模型行为的过程
50%待验证Eric Bigelow认为7-8B参数区间是可解释性研究的黄金甜点区间，零样本就能涌现丰富行为且算力开销可控
50%待验证许多前沿可解释性研究高度依赖中国开源权重模型，因为美国开源模型在最高能力段存在差距
50%待验证Eric Bigelow认为很多能力本就存在于预训练基础模型中，后续的SFT、RL、Agent微调更多是对分布做打磨锐化而非凭空赋予新能力
50%