待验证50% 置信事实精确时间
在标准 Transformer 架构中，前馈网络（FFN）占据了模型总参数量的约三分之二
1
来源数
50%
置信度
长期有效
时效性
2026/9/5
首次发现
来源
涉及实体
相关事实
待验证将FP32权重降至INT8后，典型Transformer模型基准测试分数下降通常不超过1%，推理速度提升2至4倍，内存占用减少75%64% 相似待验证Transformer推理中批量大小为1时注意力层的算术强度约1~10 FLOP/Byte，远低于H100约300 FLOP/Byte的屋脊点，属于带宽受限场景64% 相似待验证批大小为1的Transformer推理算术强度往往低于10 FLOP/Byte，意味着GPU算力利用率不足理论峰值的5%64% 相似待验证在LLM超低比特量化中，Transformer模型某些特定通道的激活值可能比其他通道大100倍以上，这些离群值会导致极端量化的精度崩溃58% 相似待验证经过良好校准的FP8推理，模型输出质量损失通常可控制在1%以内58% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/860208API
curl https://kongchang.com/api/v1/knowledge/claims/860208MCP
get_claim(id=860208)