模型Llama 3.1 70B
Llama-3.1 70B
Meta发布的大语言模型Llama 3.1的700亿参数版本，具有强大的通用语言能力，常用于大规模训练和推理任务。
时间轴 (近 90 天)
10月30日
在Llama-3.1 70B训练中（每GPU 8K tokens），仅布局转换就占用了6.4%的step时间。
待验证50%
10月30日
在64 GPU规模上，TIDE在Llama-3.1 70B、Wan2.2和Qwen3-30B-A3B上最多降低27.1%的step时间（对比Stock FSDP2）。
待验证50%