COCONUT
Meta提出的连续思维链框架,让模型将上一步的最后隐藏状态直接作为下一步的输入嵌入,绕过token解码和重新编码步骤,在潜空间中进行推理,是Neuralese研究的代表性实验案例
时间轴 (近 90 天)
AI安全研究机构Redwood Research发布分析文章,指出以COCONUT、全带宽Transformer为代表的潜空间推理架构可能大幅削弱当前最有效的AI监督工具——思维链(CoT)。
COCONUT用连续的'潜在思维'链完全替代文本CoT,模型不再输出可读的推理步骤,而是在连续向量空间中进行推理,导致CoT的监督价值直接归零。
COCONUT框架在某些数学推理任务上展现出更强的性能
COCONUT(Chain of Continuous Thought)直接在连续的潜在空间中进行推理链传播,将上一步推理产生的隐藏状态直接作为下一步推理的输入,跳过隐藏状态到token再到隐藏状态的编解码循环
COCONUT在某些逻辑推理任务上优于传统CoT,尤其在需要广度优先搜索(BFS)式推理的任务中展现优势,因为连续空间天然支持对多条推理路径的并行探索
全部知识事实 (5)
COCONUT(Chain of Continuous Thought)直接在连续的潜在空间中进行推理链传播,将上一步推理产生的隐藏状态直接作为下一步推理的输入,跳过隐藏状态到token再到隐藏状态的编解码循环
60%待验证AI安全研究机构Redwood Research发布分析文章,指出以COCONUT、全带宽Transformer为代表的潜空间推理架构可能大幅削弱当前最有效的AI监督工具——思维链(CoT)。
50%待验证COCONUT用连续的'潜在思维'链完全替代文本CoT,模型不再输出可读的推理步骤,而是在连续向量空间中进行推理,导致CoT的监督价值直接归零。
50%待验证COCONUT框架在某些数学推理任务上展现出更强的性能
50%待验证COCONUT在某些逻辑推理任务上优于传统CoT,尤其在需要广度优先搜索(BFS)式推理的任务中展现优势,因为连续空间天然支持对多条推理路径的并行探索
50%