#低精度训练

格式感知融合：让FP4预训练提速两倍的工程实践

新论文提出格式感知融合方法，在Llama-3 8B预训练中让FP4吞吐量从18.8K翻倍至37.9K tokens/s/GPU，MFU达86.3%，揭示FP4效果由缩放契约、操作数与执行路径共同决定。