待验证50% 置信事实精确时间
Collapse模型仅包含四类可学习参数：每个token的256维向量、起始状态、拉力强度标量、读出温度标量
1
来源数
50%
置信度
长期有效
时效性
2026/7/12
首次发现
来源
无需MLP与注意力机制：点吸引子动力学如何学习词嵌入
redditr/learnmachinelearning2026/7/10
相关事实
待验证在27B混合架构、4B稠密模型、36B MoE三类模型上以8k上下文测试，Prefill阶段性能无变化，Decode阶段打补丁后快约1.4%59% 相似已验证Q4量化将每个权重参数从16位压缩到4位，理论上可将模型体积缩小约75%58% 相似待验证Collapse模型在SimLex-999名词子集上取得Spearman ρ = 0.3616的相似度相关性，覆盖662/666的名词对58% 相似待验证INT4量化将原本由65536个不同值（FP16）表示的权重压缩到仅16个离散级别58% 相似已验证模型参数量越大，对量化的鲁棒性越强，使得70B级别模型在4-bit量化后仍能保持接近FP16的性能57% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/491356API
curl https://kongchang.com/api/v1/knowledge/claims/491356MCP
get_claim(id=491356)