RTX 4090
NVIDIA于2022年发布的旗舰消费级显卡，配备24GB GDDR6X显存，是消费端显存容量最大的单卡之一，广泛用于本地AI模型推理
Core Facts
Timeline (last 90 days)
2B参数级别的模型可运行于单张消费级GPU（如RTX 3090/4090，显存24GB）甚至部分CPU推理场景
英伟达高端GPU（如H100、A100、消费级4090）拥有数千个CUDA核心，配合大显存带宽，可在显存容量允许前提下同时为多个推理请求服务
提示处理速度上RTX 4090约3000 tokens/s，M5 Max约800 tokens/s，英伟达在长文档/代码库输入场景优势明显
运行Qwen 3（27B）无优化基线token解码速度：RTX 5090约75、RTX 4090约46、RTX 3090约40、M5 Max 31.4、DGX Spark 12-17、Ryzen AI Max 11.5 tokens/s
本地部署通常指在消费级 GPU（如 RTX 4090，显存 24GB）或企业内网服务器上运行量化后的开源模型
Tesla T4的内存带宽仅300GB/s，而RTX 4090为1008GB/s
在单张4090显卡上，Populace每个游戏内一天约需10分钟，系统还提供无需模型的免费mock模式
由于内存带宽差异，高端消费级显卡（如RTX 4090）在生成速度上有时不如专业卡或Apple Silicon
相比在 RTX 4090 上运行8B模型，人类的token生成速度大约慢76倍
Qwen3 Flash Next在本地运行中开发者Primitive报告的生成速度达到142.6 tokens/s
40 more timeline events
All Facts (20)
QLoRA引入4-bit量化技术，使得在单张24GB显存的RTX 3090/4090上微调650亿参数级别的模型成为可能
90%Verified消费级GPU RTX 4090的显存上限为24GB
80%VerifiedRTX 4090拥有24GB显存，在加载27B Q4模型后通常还有足够空间支持3-4万Token的上下文
65%VerifiedRTX 4090拥有超过16000个CUDA核心
65%VerifiedRTX 4090拥有24GB VRAM，可流畅运行大多数13B-34B量化模型
65%UnverifiedRTX 4090作为消费级旗舰显卡，拥有24GB GDDR6X显存，售价约1,600美元
85%Unverified使用Ollama本地部署时，官方推荐Qwen 2.5视觉模型（32B参数），需要至少24GB显存的GPU（如RTX 4090）才能流畅运行
85%UnverifiedRTX 4090的功耗约为300W
85%UnverifiedUnsloth通常需要配合NVIDIA GPU使用，推荐RTX 3090/4090或更高
80%Unverified移动端RTX 5090采用完整的GB203核心，拥有超过10,000个CUDA核心和16GB GDDR7显存，理论算力接近上一代桌面端RTX 4090
80%Unverified单卡RTX 4090即可运行GPT-OSS 20B，单卡A100即可运行GPT-OSS 120B
80%Unverified将模型权重从FP16压缩到INT8或INT4的量化技术，可使消费级GPU如RTX 4090在本地部署时达到30-80 TPS的实用速度
75%Unverified使用QLoRA在RTX 4090上微调Llama 7B模型，显存占用约5-8GB
70%Unverified一个70亿参数的模型在RTX 4090上的推理延迟约为50-200ms
70%Unverified批量生成100张图片在RTX 4090上大约需要15-25分钟
65%Unverified单张1024×1024图片在RTX 4090上使用Flux 2生成时间约为8-15秒
60%UnverifiedRTX 4090的理论FP16算力为82.6 TFLOPS，显存带宽为1008 GB/s
60%Unverified2B参数级别的模型可运行于单张消费级GPU（如RTX 3090/4090，显存24GB）甚至部分CPU推理场景
50%Unverified英伟达高端GPU（如H100、A100、消费级4090）拥有数千个CUDA核心，配合大显存带宽，可在显存容量允许前提下同时为多个推理请求服务
50%Unverified运行Qwen 3（27B）无优化基线token解码速度：RTX 5090约75、RTX 4090约46、RTX 3090约40、M5 Max 31.4、DGX Spark 12-17、Ryzen AI Max 11.5 tokens/s
50%