模型Llama 3.1 70B

Llama-3.1-70B

Meta发布的大规模开源语言模型，参数量700亿，适用于高性能推理任务。

时间轴 (近 90 天)

10月19日

70B模型上一个8192 Token的Prompt在BF16下产生2.68 GB的KV缓存。

待验证50%

10月19日

在上述假设下，8192 Token的Prompt在100GbE链路下传输耗时约为预填充耗时的30%，200Gb下约15%，400Gb下约7%。

待验证50%

10月17日

Lucebox 将草稿模型和目标模型拆分到不同硬件上运行，官方示例中 Llama-3.2-1B 作为草稿模型跑在第二块 GPU 或 CPU 上，Llama-3.1-70B 作为目标模型跑在主卡上。

待验证50%

70B模型上一个8192 Token的Prompt在BF16下产生2.68 GB的KV缓存。

在上述假设下，8192 Token的Prompt在100GbE链路下传输耗时约为预填充耗时的30%，200Gb下约15%，400Gb下约7%。