Unverified50% confidenceFactExact time
1.58-bit 指每个权重平均占用 log₂(3) ≈ 1.58 比特,因为三值权重(-1、0、+1)共有3种状态
1
Sources
50%
Confidence
Long-term
Relevance
7/17/2026
First Seen
Sources
Related Claims
Unverified三个状态的信息熵为log₂(3)≈1.58比特,因此三元量化也被称为1.58-bit量化77% similarUnverified1-bit量化(BitNet)将每个权重压缩为单个比特,仅表示+1或-163% similarUnverified微软研究院2023年提出的BitNet b1.58架构将所有权重限定为{-1, 0, +1}三个状态,理论上可将模型大小压缩至原来的1/16以下62% similarUnverifiedErdős本人猜测单位距离问题的最大对数约为n^(1+c/log log n)量级60% similarUnverifiedH100的内存带宽约3.35TB/s,GPT-4规模模型单次生成一个Token需读取约1TB参数数据,理论上每秒最多生成约3个Token60% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/544057API
curl https://kongchang.com/api/v1/knowledge/claims/544057MCP
get_claim(id=544057)