RTX 3090
NVIDIA消费级旗舰显卡，搭载24GB GDDR6X显存，适用于AI训练和推理任务
核心事实
时间轴 (近 90 天)
开源工具GPU Unlock通过修改英伟达显卡内部寄存器解除部分计算限制，无需超频或修改官方驱动，测试中RTX 3090部分矩阵运算吞吐量提升约80%，RTX 4090相关测试接近翻倍。
论文评测显示，在RTX 3090与Jetson Orin上，BitMTP五任务平均吞吐提升最高达2.0倍，MBPP+单项达到3.3倍。
使用LoRA在单张RTX 3090（24GB显存）上即可完成4B模型的微调，耗时仅数小时。
在单卡RTX 3090上微调Qwen时，开发集正确回答数从7/28提升到13/28，但平均负对数似然（NLL）从2.215恶化到3.916。
在batch 128、7B AWQ模型下，L40S的每百万输出token成本为0.036美元，低于3090的0.040美元。
按作者实际支付价格（3090每小时0.414美元，L40S每小时0.826美元）且仅计GPU忙碌时间，低批量时3090每百万输出token成本约为L40S的一半。
7B AWQ模型在batch 32时3090已落后于L40S（0.71x），而7B fp16直到batch 128才被反超（0.72x），说明量化模型使计算瓶颈更早出现。
在batch 1时，RTX 3090的推理吞吐大约是L40S的1.03~1.09倍（基于Qwen2.5 1.5B/7B模型、vLLM 0.27.1实测）。
小批量推理时瓶颈在显存带宽，大批量时计算密度上升使算力成为瓶颈，这解释了3090与L40S的性能交叉。
对于低并发为主的个人开发者或小规模服务，3090以约一半成本提供与L40S相近的性能；对于高吞吐在线服务，L40S在batch 128时速度更快且AWQ模型下成本更低。
还有 40 条时间轴事件
全部知识事实 (20)
NVLink 4.0的双向带宽高达900GB/s，而传统PCIe总线带宽约为64GB/s
90%已验证QLoRA引入4-bit量化技术，使得在单张24GB显存的RTX 3090/4090上微调650亿参数级别的模型成为可能
90%已验证32B参数规模的模型在量化后通常可以压缩到约16-20GB显存占用，一张NVIDIA RTX 4090（24GB显存）就能运行
80%已验证RTX 4060的显存内部带宽约为288 GB/s
65%已验证消费级显卡的显存通常只有8-24GB，限制了可运行的模型规模
65%已验证RTX 4090拥有24GB显存，在加载27B Q4模型后通常还有足够空间支持3-4万Token的上下文
65%待验证Unsloth通常需要配合NVIDIA GPU使用，推荐RTX 3090/4090或更高
80%待验证MiniMind-V可以在普通消费级GPU（如RTX 3090）上完成全流程训练
80%待验证GPT-OSS 20B在RTX 3090上可达约40 Token/s的生成速度，在RTX 5090上能达到200 Token/s
75%待验证官方估计24GB显卡约能跑100~140 tokens/秒
60%待验证LoRA可将可训练参数压缩至原始规模的0.1%至1%，使单张消费级GPU即可完成微调
60%待验证开源工具GPU Unlock通过修改英伟达显卡内部寄存器解除部分计算限制，无需超频或修改官方驱动，测试中RTX 3090部分矩阵运算吞吐量提升约80%，RTX 4090相关测试接近翻倍。
50%待验证论文评测显示，在RTX 3090与Jetson Orin上，BitMTP五任务平均吞吐提升最高达2.0倍，MBPP+单项达到3.3倍。
50%待验证使用LoRA在单张RTX 3090（24GB显存）上即可完成4B模型的微调，耗时仅数小时。
50%待验证在单卡RTX 3090上微调Qwen时，开发集正确回答数从7/28提升到13/28，但平均负对数似然（NLL）从2.215恶化到3.916。
50%待验证单卡测试不代表所有同型号卡：作者另一张3090在相同脚本和驱动下所有设置都明显更慢，选硬件时最好测两张卡。
50%待验证对于低并发为主的个人开发者或小规模服务，3090以约一半成本提供与L40S相近的性能；对于高吞吐在线服务，L40S在batch 128时速度更快且AWQ模型下成本更低。
50%待验证小批量推理时瓶颈在显存带宽，大批量时计算密度上升使算力成为瓶颈，这解释了3090与L40S的性能交叉。
50%待验证在batch 1时，RTX 3090的推理吞吐大约是L40S的1.03~1.09倍（基于Qwen2.5 1.5B/7B模型、vLLM 0.27.1实测）。
50%待验证按作者实际支付价格（3090每小时0.414美元，L40S每小时0.826美元）且仅计GPU忙碌时间，低批量时3090每百万输出token成本约为L40S的一半。
50%