待验证50% 置信概念精确时间
当硬件不支持原生低精度张量核心时，int4权重在矩阵乘前被解包并扩展到bf16或fp16，导致带宽和容量优势丧失，T4G的int4加宽到16位、Neuron的int4加宽到bf16均属此机制。
1
来源数
50%
置信度
长期有效
时效性
2026/10/12
首次发现
来源
涉及实体
相关事实
待验证NVIDIA L4（g6/SageMaker）原生支持bf16、fp8、int8，int4会被加宽到16位；NVIDIA T4G（g5g）支持bf16（模拟）和int8，不支持fp8，int4加宽到16位；NeuronCore-v2（inf2/trn1）支持bf16和int8，fp8有硬件支持但编译器待跟进，int4加宽到bf16且每次调用慢27倍。78% 相似待验证INT4权重在芯片上仅需4个晶体管的存储单元，而FP32需要32个77% 相似待验证算力受限意味着硬件的计算单元已被打满，此时增加批量大小或优化数值精度（如用BF16代替FP32）才有意义76% 相似待验证量化将FP32权重转为INT8或FP16，在保持音质前提下减少计算量和内存带宽压力71% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1011106API
curl https://kongchang.com/api/v1/knowledge/claims/1011106MCP
get_claim(id=1011106)