Unverified50% confidenceFactExact time
用一个4000维的嵌入乘以一个4000×4000的矩阵需要1600万次乘法，模型由40个堆叠层构成，为单个词元设置Attention大约需要20亿次运算
1
Sources
50%
Confidence
Medium-term (~90 days)
Relevance
7/2/2026
First Seen
Valid until: 9/30/2026
Sources
KV缓存省钱20倍：大模型推理优化的底层原理与实战技巧
bilibili程序员-智能译站6/17/2026
Related Claims
Unverified模型使用每个词256维可学习向量，参数总量约2560万，几乎全部集中在共享井表中72% similarVerifiedFP16精度下，大模型每10亿参数约需2GB显存67% similarUnverified1750亿参数模型仅模型权重（BF16精度）就需350GB存储，Adam优化器需维护一阶矩和二阶矩两份状态，合计超过1TB67% similarUnverified一个32K上下文窗口在Q4量化模型上可能额外占用2-4GB内存67% similarUnverified千问3.5-9B包含约90亿个可训练参数，经4-bit量化后模型文件大小可压缩至约5-6GB66% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/43603API
curl https://kongchang.com/api/v1/knowledge/claims/43603MCP
get_claim(id=43603)