#GGUF
共 416 篇相关文章
·7 分钟
Unsloth量化实测：NVFP4提速1.5倍，动态GGUF压缩83.5%体积
Unsloth基于改进版Dynamic算法为Qwen3.8-27B推出NVFP4和动态GGUF两种量化方案。NVFP4实现1.5倍推理加速且保留92%-97%准确率，动态GGUF将54.7GB模型压缩至9GB。深入解析量化策略、适用场景与部署选择。
阅读全文 →
·10 分钟
看懂GGUF量化：Q4_K_M与Q4_K_S的真正区别
详解GGUF模型Q4_K_M与Q4_K_S的核心区别：为什么同为Q4量化文件大小不同？k-quant差异化保护策略解析，附量化等级选择指南与本地部署显存规划建议。
阅读全文 →
·9 分钟
Ollama导入GGUF后模板失效：自定义TEMPLATE被静默覆盖的排查指南
深入分析Ollama导入GGUF模型后自定义TEMPLATE被内嵌模板静默覆盖的问题。通过/api/show接口验证实际生效模板，避免模型评测结果失真。附完整排查步骤与解决方案。
阅读全文 →
·7 分钟
HuggingHack更新：S3存储、双引擎调度与GGUF检查全面升级
HuggingHack发布重磅更新，新增S3/MinIO对象存储支持、Ollama与vLLM双引擎智能调度、GGUF格式检查及本地账户系统，全方位提升本地化大语言模型管理能力，助力团队私有化部署与多用户协作。
阅读全文 →
·15 分钟
jlens-gguf：为llama.cpp本地大模型带来雅可比透镜可视化与引导
jlens-gguf是一款开源工具，将Anthropic雅可比透镜（Jacobian Lens）可解释性方法引入GGUF与llama.cpp生态，支持模型内部观测、实时引导（steering）及abliteration操作，兼容dense与MoE架构，让本地推理用户也能探索大模型内部机制。
阅读全文 →
·7 分钟
Unsloth v0.1.461-beta：修复本地GGUF视觉模型加载问题
Unsloth v0.1.461-beta 发布，修复 Studio 中本地 GGUF 视觉模型在 llama-server 上的加载问题，新增变体目录配套文件查找逻辑，提升本地多模态部署稳定性。适合使用 LLaVA、Qwen-VL 等视觉语言模型的开发者关注。
阅读全文 →
科技前沿·6 分钟
IBM Granite 4.1量化测试：21个GGUF版本SVG生成对比实验
IBM Granite 4.1开源模型发布，Unsloth提供21种GGUF量化版本。Simon Willison用鹈鹕骑自行车SVG测试发现：3B小模型中量化级别对生成质量影响微乎其微，最小模型反而画出最好的自行车。
阅读全文 →
·10 分钟
本地AI Agent部署太慢？轻量级优化实战指南
本地部署AI Agent速度慢、频繁超时？本文从Agent框架隐藏开销、硬件瓶颈出发，提供精简配置、轻量工具选择、模型量化等针对性优化方案，并介绍通过Telegram Bot远程交互的实用技巧。
阅读全文 →
·9 分钟
自托管LLM技术栈：从终端统一管理本地AI集群的完整指南
深入解析如何自托管LLM技术栈，涵盖推理引擎选型、模型管理、向量数据库配置等核心组件，探讨从终端统一管理本地AI集群的实践方案、硬件要求与技术挑战。
阅读全文 →
·7 分钟
Unsloth Dynamic v3发布：同尺寸精度提升10%，1-bit量化仅需6GB
Unsloth发布Dynamic v3量化方案，Qwen3.8-27B GGUF模型在同体积下实现10% top-1%精度提升，并推出6-8GB的1-bit极限量化版本。新增Divergence-300长序列评测指标，更真实反映量化质量。
阅读全文 →
·10 分钟
为什么你的本地大模型感觉比实际"笨"？
本地部署LLM总感觉比在线版本笨？本文从量化损失、上下文截断、采样参数、Prompt模板四个维度分析原因，并提供详细的优化排查清单，帮你让本地大模型发挥真实水平。
阅读全文 →
·9 分钟
Qwen3.8-27B成史上最火开源模型：断层式领先DeepSeek-R1
Qwen3.8-27B成为Unsloth社区使用量最高的开源模型，远超DeepSeek-R1和Qwen3.6-35B-A3B。27B参数量化后可在消费级显卡本地部署，成为开发者首选基座模型。深度解析其爆火原因与开源生态趋势。
阅读全文 →
·8 分钟
Amiga 500跑AI编程助手：1987年古董硬件如何接入现代AI
开发者在1987年的Commodore Amiga 500（7MHz CPU、1MB内存）上成功运行AI编程助手。本文解析客户端-服务端分离架构如何让古董硬件接入大语言模型，探讨AI能力服务化与终端轻量化趋势。
阅读全文 →
·12 分钟
Qwen 3.8 27B发布：本地部署最强稠密开源模型解析
阿里通义千问Qwen 3.8 27B以开放权重形式发布，被誉为目前最好的本地部署稠密模型。本文解析其技术定位、27B参数量优势、开放权重的战略意义及社区评价。
阅读全文 →
·7 分钟
Magnitude：模型全留本机的隐私优先代码助手
Magnitude是一款将模型推理和Agent执行全部留在本机的私有代码助手，支持硬件感知自动配置、文件修改、命令执行等完整Agent能力，专为代码敏感、重视隐私的开发者设计。
阅读全文 →
AI Model Atlas：用3D图谱可视化机器学习模型生态关系
·10 分钟
AI Model Atlas：用3D图谱可视化机器学习模型生态关系
AI Model Atlas项目通过3D交互式网络图谱，将海量机器学习模型的派生、微调、量化等血缘关系可视化呈现，帮助研究者和工程师直观理解AI模型生态的真实结构与演化趋势。
阅读全文 →
·9 分钟
自托管AI软件工厂：本地部署AI开发流水线实战指南
深入解析自托管AI软件工厂的概念、技术架构与落地实践。涵盖本地大模型部署、Agent工作流编排、数据隐私保障等核心要素，帮助开发团队构建自主可控的AI驱动开发流水线。
阅读全文 →
·16 分钟
Meta开源30B模型Muse Glimmer：一张显卡跑本地Agent的实战解析
Meta超级智能实验室开源Muse Glimmer 30B多模态Agent模型，采用4-bit量化、混合注意力和D-Flash投机解码三大技术，可在RTX 4090等消费级显卡上运行，Agent基准测试大幅领先同级模型。
阅读全文 →
