[控场AI]

#模型量化

共 50 篇相关文章

Voodoo Dynamic Quant开源:用梯度下降优化模型量化
·6 分钟

Voodoo Dynamic Quant开源:用梯度下降优化模型量化

开发者开源动态量化方法 Voodoo Dynamic Quant,采用 MIT 协议。它用梯度下降优化 GGUF 模型的逐张量量化布局,在激进低比特档位优于 Unsloth Dynamic 3.0,为低显存本地部署提供新工具。

阅读全文 →
bartowski更新GGUF量化:逐张量布局图解析
·4 分钟

bartowski更新GGUF量化:逐张量布局图解析

bartowski 更新 Qwen3.8-27B-GGUF 模型仓库,引入逐张量布局映射(Per-tensor layout),以图表和表格展示每个张量的量化类型,提升 GGUF 量化的透明度与可解释性,帮助本地大模型用户更理性地选择量化版本。

阅读全文 →
Mac本地跑Qwen3.6-27B:4种方案实测对比
产品体验
·9 分钟

Mac本地跑Qwen3.6-27B:4种方案实测对比

实测对比Mac本地运行Qwen3.6-27B的4种方案,包括GGUF、MLX Diflash和MTP-LX。MTP-LX 4bit方案以43.6 tok/s速度领先,编码、写作、推理质量均可圈可点,附安装配置指南。

阅读全文 →
Ollama本地部署大模型教程:安装配置到API调用全流程
教程攻略
·5 分钟

Ollama本地部署大模型教程:安装配置到API调用全流程

详解Ollama本地部署开源大模型的完整流程,涵盖安装配置、模型选择与量化策略、Python代码调用API、性能优化等实战技巧,帮你快速在本地运行Qwen、Llama等大模型。

阅读全文 →
Qwen3.6量化版本地部署实测:NVFP4、APEX、Q4、Q6哪个最值得选
产品体验
·4 分钟

Qwen3.6量化版本地部署实测:NVFP4、APEX、Q4、Q6哪个最值得选

实测Qwen3.6系列7-8个量化模型在工具调用、命令行操作、Bug修复、数学推理等8大维度的表现,对比NVFP4、APEX、Q4、Q6量化方案,附总分排名与选购建议,帮你找到最适合本地部署的量化版本。

阅读全文 →
Qwen3.6 27B三大邪修量化模型实测:代码暴增15.8PP、40B蒸馏、16GB适配
产品体验
·4 分钟

Qwen3.6 27B三大邪修量化模型实测:代码暴增15.8PP、40B蒸馏、16GB适配

实测对比三款基于Qwen3.6 27B的社区邪修量化模型:OmniMerge V4代码能力提升15.8个百分点,40B OPUS蒸馏版支持角色扮演与创意写作,16GB特化版让小显存也能跑稠密模型。附显存要求、参数设置与选型建议。

阅读全文 →