模型Ouro
Ouro-1.4B
一种循环式语言模型,具有循环结构,参数规模约1.4B,用于潜推理与内部表征研究。
时间轴 (近 90 天)
10月21日
实验中使用循环模型 Ouro-1.4B 和标准 Transformer Qwen2.5-1.5B,构造仅差一个数字的最小对问题。
待验证50%
10月21日
在最后一个提示 token 处,数字信息确实存在,并且以跨问题共享的编码方式被表征,读出准确率约为 0.9。
待验证50%
10月21日
当探针一次只看一个提示(常规设定)时,即使训练了 5,249 个问题,Ouro 的读出率仅有 0.36,Qwen 仅有 0.19。
待验证50%
10月21日
在两步骤问题的预注册研究中,该协议在 Ouro 写出答案最后一位数字之前,捕捉到关于未写出的中间值 a+b 的微弱信号,且信号符号会跟随运算类型变化。
待验证50%
10月21日
从第一个循环开始将某问题的中间值 patch 为另一问题的对应值时,写出的数字不向另一问题答案靠拢;而对答案本身做同样 patch 时数字会移动,说明中间值可读出但未被模型实际使用。
待验证50%
全部知识事实 (5)
待验证
实验中使用循环模型 Ouro-1.4B 和标准 Transformer Qwen2.5-1.5B,构造仅差一个数字的最小对问题。
50%待验证在最后一个提示 token 处,数字信息确实存在,并且以跨问题共享的编码方式被表征,读出准确率约为 0.9。
50%待验证当探针一次只看一个提示(常规设定)时,即使训练了 5,249 个问题,Ouro 的读出率仅有 0.36,Qwen 仅有 0.19。
50%待验证在两步骤问题的预注册研究中,该协议在 Ouro 写出答案最后一位数字之前,捕捉到关于未写出的中间值 a+b 的微弱信号,且信号符号会跟随运算类型变化。
50%待验证从第一个循环开始将某问题的中间值 patch 为另一问题的对应值时,写出的数字不向另一问题答案靠拢;而对答案本身做同样 patch 时数字会移动,说明中间值可读出但未被模型实际使用。
50%