L40S
NVIDIA面向数据中心的多用途GPU，基于Ada Lovelace架构，适用于AI推理、图形与视频处理
核心事实
时间轴 (近 90 天)
对于低并发为主的个人开发者或小规模服务，3090以约一半成本提供与L40S相近的性能；对于高吞吐在线服务，L40S在batch 128时速度更快且AWQ模型下成本更低。
在batch 1时，RTX 3090的推理吞吐大约是L40S的1.03~1.09倍（基于Qwen2.5 1.5B/7B模型、vLLM 0.27.1实测）。
小批量推理时瓶颈在显存带宽，大批量时计算密度上升使算力成为瓶颈，这解释了3090与L40S的性能交叉。
7B AWQ模型在batch 32时3090已落后于L40S（0.71x），而7B fp16直到batch 128才被反超（0.72x），说明量化模型使计算瓶颈更早出现。
按作者实际支付价格（3090每小时0.414美元，L40S每小时0.826美元）且仅计GPU忙碌时间，低批量时3090每百万输出token成本约为L40S的一半。
在batch 128、7B AWQ模型下，L40S的每百万输出token成本为0.036美元，低于3090的0.040美元。
作者测试中所有重复运行的波动在3090上不超过0.5%，在L40S上最差2.6%，数据并非噪声。
GPU Index 的价格数据快照中，H100 最低价为 $1.37/hr（Vast.ai，竞价实例），H200 为 $2.62/hr（CoreWeave，竞价），A100 为 $1.15/hr（Paperspace，三年合约），L40S 为 $0.79/hr（RunPod，社区云），B200 为 $4.26/hr（CoreWeave，竞价）。
Fodder Watch 需要一张 48 GB PCIe 卡（L40S 级别），自购节点三年成本约 15,200 美元（区间 14,600 到 15,800）
L40G 通常指 L40S 或面向特定场景的变体，进一步强化了 AI 推理和训练的平衡能力
还有 3 条时间轴事件
全部知识事实 (12)
RTX 4060的显存内部带宽约为288 GB/s
65%待验证对于低并发为主的个人开发者或小规模服务，3090以约一半成本提供与L40S相近的性能；对于高吞吐在线服务，L40S在batch 128时速度更快且AWQ模型下成本更低。
50%待验证7B AWQ模型在batch 32时3090已落后于L40S（0.71x），而7B fp16直到batch 128才被反超（0.72x），说明量化模型使计算瓶颈更早出现。
50%待验证按作者实际支付价格（3090每小时0.414美元，L40S每小时0.826美元）且仅计GPU忙碌时间，低批量时3090每百万输出token成本约为L40S的一半。
50%待验证在batch 128、7B AWQ模型下，L40S的每百万输出token成本为0.036美元，低于3090的0.040美元。
50%待验证作者测试中所有重复运行的波动在3090上不超过0.5%，在L40S上最差2.6%，数据并非噪声。
50%待验证在batch 1时，RTX 3090的推理吞吐大约是L40S的1.03~1.09倍（基于Qwen2.5 1.5B/7B模型、vLLM 0.27.1实测）。
50%待验证小批量推理时瓶颈在显存带宽，大批量时计算密度上升使算力成为瓶颈，这解释了3090与L40S的性能交叉。
50%待验证Fodder Watch 需要一张 48 GB PCIe 卡（L40S 级别），自购节点三年成本约 15,200 美元（区间 14,600 到 15,800）
50%待验证L40G 通常指 L40S 或面向特定场景的变体，进一步强化了 AI 推理和训练的平衡能力
50%待验证在这个int8工作负载中，两张24GB卡和L40S每步耗时均为3.97秒，而H100 PCIe仅需2.99秒
50%待验证英伟达在芯片市场有H100（旗舰）和L40S（主力）的产品区分
50%