#本地化大模型部署

双卡3060跑DeepSeek V4 Flash：IQ2_M量化推理实测3.5tok/s

实测双卡RTX 3060加96GB内存运行DeepSeek V4 Flash，IQ2_M量化精度下推理速度达3.5 tokens/秒。详解硬件配置选择、2-bit量化技术原理、实际使用体验及本地大模型部署优化方向。