#动态量化技术
共 4 篇相关文章
·15 分钟
Unsloth发布DeepSeek V4 Flash量化版：162GB实现无损运行
Unsloth团队发布DeepSeek V4 Flash 0731的UD动态量化版本，提供从162GB无损到83GB极限压缩共六个版本。采用MXFP4+BF16混合精度方案，为本地部署大模型提供完整精度梯度选择。
阅读全文 →
·15 分钟
开源vs闭源模型、奖励黑客与刷榜：AI大模型核心技术问题深度解析
深入解析AI大模型领域六大核心议题：开源与闭源模型之争、推理吞吐量与精度权衡、基准测试刷榜问题、蒸馏与强化学习路径、奖励黑客防御策略，以及动态量化技术如何通过软件优化释放硬件潜力。
阅读全文 →
·15 分钟
Unsloth联手Thinking Machines：1-bit动态量化压缩86%，270GB跑多模态大模型
Unsloth与Thinking Machines合作推出Inkling模型动态1-bit GGUF量化版本，将模型从1.9TB压缩至270GB，缩减86%且保留74.2%准确率，并支持视觉和音频多模态能力，大幅降低本地部署门槛。
阅读全文 →
·8 分钟
Unsloth重大更新：GLM-5.2支持、3倍长上下文与全新Model Hub
Unsloth最新版本一次性带来GLM-5.2全推理级别支持、3倍长上下文能力（单卡q4_0可达20万token）、全新Model Hub及Chat Canvas交互功能，大幅提升本地大模型微调与推理体验。
阅读全文 →