待验证50% 置信事实精确时间

超低比特量化将模型权重压缩到1-2比特（如BitNet b1.58的三值权重），以降低存储、内存带宽和矩阵乘加开销。

1

来源数

50%

置信度

长期有效

时效性

2026/10/21

首次发现

来源

BitMTP：多Token预测与低比特LLM的协同加速

涉及实体

超低比特量化concept BitNet b1.58model

相关事实

已验证4-bit量化理论上可将模型体积缩小8倍（相比32位存储）77% 相似待验证微软研究院2023年提出的BitNet b1.58架构将所有权重限定为{-1, 0, +1}三个状态，理论上可将模型大小压缩至原来的1/16以下76% 相似待验证BitMTP实现宽度特化的低比特执行，针对不同批量或序列宽度选用合适的低比特内核，并在共享KV存储之上复用已捕获的计算图。76% 相似待验证模型压缩与蒸馏技术的进步使得原本需要服务器级算力的大模型可被压缩到几MB甚至更小。76% 相似待验证存储压缩降低的是静态占用，而实际推理仍需将权重解码回可计算的形式，解码开销过大可能抵消带宽节省的收益75% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1078886

API

curl https://kongchang.com/api/v1/knowledge/claims/1078886

MCP

get_claim(id=1078886)