NVIDIA L4
NVIDIA推出的数据中心GPU，基于Ada Lovelace架构，定位中端推理与轻量训练任务，支持AI加速
时间轴 (近 90 天)
L4 与 cpu-repack 的每百万文档成本盈亏平衡点为 3.4% 忙碌比例：L4 在线时间超过 3.4% 在干活时，每文档成本低于 repack。
L4 实例每小时成本约 1.0465 美元，约为 1 vCPU 实例的十倍。
在 Google Cloud Run 上，L4 服务挂载 GPU 所需的最小实例规格为 4 vCPU 加 16 GiB 内存。
在NVIDIA L4上，bf16模型（6.32 GiB）的内存带宽理论上限约47 Token/s，而int4模型（2.85 GiB）理论上限约105 Token/s，实测最高达到131.9 Token/s。
NVIDIA L4（g6/SageMaker）原生支持bf16、fp8、int8，int4会被加宽到16位；NVIDIA T4G（g5g）支持bf16（模拟）和int8，不支持fp8，int4加宽到16位；NeuronCore-v2（inf2/trn1）支持bf16和int8，fp8有硬件支持但编译器待跟进，int4加宽到bf16且每次调用慢27倍。
Inferentia2和Trainium的内存带宽是NVIDIA L4的2.0到2.7倍，但解码速度只有L4的0.28倍。
Nodus 在 2026 年 10 月 11 日的试点中，使用 Qwen2.5-0.5B 模型在单张 NVIDIA L4 上运行相同配方，监督微调费用比 Modal 低 67%，持续预训练费用低 42.5%；计入一次失败尝试后微调节省降至 24.7%。
该0.8B模型的训练结果据称在NVIDIA L4显卡上得到了验证
全部知识事实 (8)
L4 与 cpu-repack 的每百万文档成本盈亏平衡点为 3.4% 忙碌比例：L4 在线时间超过 3.4% 在干活时，每文档成本低于 repack。
50%待验证L4 实例每小时成本约 1.0465 美元，约为 1 vCPU 实例的十倍。
50%待验证在 Google Cloud Run 上，L4 服务挂载 GPU 所需的最小实例规格为 4 vCPU 加 16 GiB 内存。
50%待验证在NVIDIA L4上，bf16模型（6.32 GiB）的内存带宽理论上限约47 Token/s，而int4模型（2.85 GiB）理论上限约105 Token/s，实测最高达到131.9 Token/s。
50%待验证NVIDIA L4（g6/SageMaker）原生支持bf16、fp8、int8，int4会被加宽到16位；NVIDIA T4G（g5g）支持bf16（模拟）和int8，不支持fp8，int4加宽到16位；NeuronCore-v2（inf2/trn1）支持bf16和int8，fp8有硬件支持但编译器待跟进，int4加宽到bf16且每次调用慢27倍。
50%待验证Inferentia2和Trainium的内存带宽是NVIDIA L4的2.0到2.7倍，但解码速度只有L4的0.28倍。
50%待验证Nodus 在 2026 年 10 月 11 日的试点中，使用 Qwen2.5-0.5B 模型在单张 NVIDIA L4 上运行相同配方，监督微调费用比 Modal 低 67%，持续预训练费用低 42.5%；计入一次失败尝试后微调节省降至 24.7%。
50%待验证该0.8B模型的训练结果据称在NVIDIA L4显卡上得到了验证
50%