[控场AI]
模型Ouro

Ouro-1.4B

一种循环式语言模型,具有循环结构,参数规模约1.4B,用于潜推理与内部表征研究。

时间轴 (近 90 天)

10月21日

实验中使用循环模型 Ouro-1.4B 和标准 Transformer Qwen2.5-1.5B,构造仅差一个数字的最小对问题。

待验证50%
10月21日

在最后一个提示 token 处,数字信息确实存在,并且以跨问题共享的编码方式被表征,读出准确率约为 0.9。

待验证50%
10月21日

当探针一次只看一个提示(常规设定)时,即使训练了 5,249 个问题,Ouro 的读出率仅有 0.36,Qwen 仅有 0.19。

待验证50%
10月21日

在两步骤问题的预注册研究中,该协议在 Ouro 写出答案最后一位数字之前,捕捉到关于未写出的中间值 a+b 的微弱信号,且信号符号会跟随运算类型变化。

待验证50%
10月21日

从第一个循环开始将某问题的中间值 patch 为另一问题的对应值时,写出的数字不向另一问题答案靠拢;而对答案本身做同样 patch 时数字会移动,说明中间值可读出但未被模型实际使用。

待验证50%

全部知识事实 (5)

来源文章