Qwen2.5-1.5B
阿里巴巴通义千问团队发布的小型语言模型，参数量15亿，支持中英文，常用于本地推理与量化实验。
时间轴 (近 90 天)
实验中使用循环模型 Ouro-1.4B 和标准 Transformer Qwen2.5-1.5B，构造仅差一个数字的最小对问题。
当探针一次只看一个提示（常规设定）时，即使训练了 5,249 个问题，Ouro 的读出率仅有 0.36，Qwen 仅有 0.19。
在最后一个提示 token 处，数字信息确实存在，并且以跨问题共享的编码方式被表征，读出准确率约为 0.9。
Qwen2.5-1.5B 在 GSM8K 上得 0.729，比 Gemma 4 E2B 低 18.2 个百分点；Qwen3-0.6B 得 0.599，低 31.2 个百分点；SmolLM2-1.7B 得 0.461，低 45.0 个百分点。
在替换后的模型中，绑定embedding/lm_head矩阵保持bf16，因此每个token实际读取约1.263 GB权重（外加约0.06 GB KV cache），按实际移动字节计算，25.5 tok/s相当于约34 GB/s，约为实测带宽的10%。
对于Qwen2.5-1.5B模型，batch-1解码的int4理论roofline上限为411.8 tok/s，而实际自研内核仅达到25.5 tok/s，存在约16倍的差距。
数据集涵盖四个开源权重模型Qwen2.5-7B、Mistral-7B-v0.3、Phi-3.5-mini和Qwen2.5-1.5B，各30条轨迹
全部知识事实 (7)
实验中使用循环模型 Ouro-1.4B 和标准 Transformer Qwen2.5-1.5B，构造仅差一个数字的最小对问题。
50%待验证当探针一次只看一个提示（常规设定）时，即使训练了 5,249 个问题，Ouro 的读出率仅有 0.36，Qwen 仅有 0.19。
50%待验证在最后一个提示 token 处，数字信息确实存在，并且以跨问题共享的编码方式被表征，读出准确率约为 0.9。
50%待验证Qwen2.5-1.5B 在 GSM8K 上得 0.729，比 Gemma 4 E2B 低 18.2 个百分点；Qwen3-0.6B 得 0.599，低 31.2 个百分点；SmolLM2-1.7B 得 0.461，低 45.0 个百分点。
50%待验证在替换后的模型中，绑定embedding/lm_head矩阵保持bf16，因此每个token实际读取约1.263 GB权重（外加约0.06 GB KV cache），按实际移动字节计算，25.5 tok/s相当于约34 GB/s，约为实测带宽的10%。
50%待验证数据集涵盖四个开源权重模型Qwen2.5-7B、Mistral-7B-v0.3、Phi-3.5-mini和Qwen2.5-1.5B，各30条轨迹
50%待验证对于Qwen2.5-1.5B模型，batch-1解码的int4理论roofline上限为411.8 tok/s，而实际自研内核仅达到25.5 tok/s，存在约16倍的差距。
50%