#本地大模型部署
共 40 篇相关文章
产品体验·7 分钟
Hertzman木马人：免费免安装的本地大模型部署工具评测
详细评测Hertzman木马人本地推理引擎，涵盖一键部署、智能硬件推荐、OpenAI兼容API接口等核心功能，并与LM Studio进行性能对比，帮你快速上手本地大模型。
阅读全文 →
·7 分钟
Unsloth Dynamic v3发布：同尺寸精度提升10%，1-bit量化仅需6GB
Unsloth发布Dynamic v3量化方案，Qwen3.8-27B GGUF模型在同体积下实现10% top-1%精度提升，并推出6-8GB的1-bit极限量化版本。新增Divergence-300长序列评测指标，更真实反映量化质量。
阅读全文 →
·6 分钟
Qwen3.8-27B成史上最火开源模型：断层式领先DeepSeek-R1
Qwen3.8-27B成为Unsloth社区使用量最高的开源模型，远超DeepSeek-R1和Qwen3.6-35B-A3B。27B参数量化后可在消费级显卡本地部署，成为开发者首选基座模型。深度解析其爆火原因与开源生态趋势。
阅读全文 →
·9 分钟
自托管AI软件工厂：本地部署AI开发流水线实战指南
深入解析自托管AI软件工厂的概念、技术架构与落地实践。涵盖本地大模型部署、Agent工作流编排、数据隐私保障等核心要素，帮助开发团队构建自主可控的AI驱动开发流水线。
阅读全文 →
·15 分钟
4090跑Qwen3 27B实测：Q4量化+128K上下文显存计算与调优指南
详解单张RTX 4090部署Qwen3 27B Q4量化模型的完整方案，涵盖显存计算、K8V4非对称KV Cache量化、128K上下文配置、生成速度分析及AI编程工具实战调优经验。
阅读全文 →
·7 分钟
Qwen开发者暗示别等35B-A3B：社区三大猜测解读
Qwen通义千问开发者暗示用户不必等待35B-A3B模型，社区猜测可能有更大规模MoE模型发布或产品线策略调整。本文解读命名规则、分析三种可能方向及对开源大模型生态的影响。
阅读全文 →
·12 分钟
llama.cpp图形化启动器Linux版实测：两种安装方式详解
实测llama.cpp图形化启动器Linux版，对比手动编译与Snap两种安装方式的优劣，涵盖启动命令差异、已知Bug及与Ollama和LM Studio的定位区别，助你快速在Linux上部署本地大模型。
阅读全文 →
·13 分钟
英伟达Nemotron开源MoE模型：笔记本即可本地运行的大语言模型
英伟达推出Nemotron系列开源MoE模型，采用混合专家架构实现稀疏激活，可在笔记本电脑或DGX Spark本地高效运行。本文解析MoE架构原理、本地部署优势及Nemotron从轻量本地到云端Ultra的分层策略。
阅读全文 →
·15 分钟
AMD核显跑26B大模型实测：统一内存架构下全GPU推理与mmap优化指南
实测AMD Radeon 840M核显利用32GB统一内存运行Gemma 26B-A4B大模型，达到17 tok/s生成速度。深入解析Ollama在统一内存架构下的GPU/CPU占比误读、mmap性能瓶颈及优化方案，为APU用户提供本地大模型部署实用建议。
阅读全文 →
·17 分钟
LangChain 1.3实战指南：框架思维与Agent开发核心要点
深入解析LangChain 1.3的核心价值，涵盖底层框架学习思路、AI编程认知误区、LangGraph与Deep Agent关系，以及医疗多智能体实战项目构建方法，帮助开发者建立系统化的Agent开发能力。
阅读全文 →
·8 分钟
Apple Silicon虚拟机加速LLM推理实践指南
深入探讨如何在macOS虚拟机环境中利用Apple Silicon统一内存架构加速llama.cpp推理，涵盖Metal后端配置、内存分配、量化格式选择等优化策略，帮助开发者在虚拟化环境中实现接近裸机的LLM推理性能。
阅读全文 →
·15 分钟
KV缓存量化实测：413组对比揭示KVarN 6-bit反超q8_0
基于413组配置的KV缓存量化基准测试，对比KVarN方差归一化与传统量化方案在Qwen和Gemma模型上的表现。kvarn6+精度尾部以更低显存超越q8_0，附完整推荐阶梯与实践建议。
阅读全文 →
·15 分钟
Unsloth发布DeepSeek V4 Flash量化版：162GB实现无损运行
Unsloth团队发布DeepSeek V4 Flash 0731的UD动态量化版本，提供从162GB无损到83GB极限压缩共六个版本。采用MXFP4+BF16混合精度方案，为本地部署大模型提供完整精度梯度选择。
阅读全文 →
·16 分钟
Homebench：本地大模型速度、内存与质量三维评测工具详解
Homebench是一款开源的本地大模型评测工具，从速度、内存占用和输出质量三个维度综合评估LLM在本地硬件上的真实表现，帮助开发者做出最优的模型选型和量化方案决策。
阅读全文 →
·14 分钟
Maple-Preview：20B三元MoE模型iPhone端侧推理达120tok/s
Maple-Preview项目实现20B参数三元量化MoE模型在iPhone上以120 tok/s速度运行。本文拆解三元量化、MoE稀疏激活、端侧推理三大核心技术，分析端侧大模型部署的价值与挑战。
阅读全文 →
科技前沿
赚钱实战·第6期：Agent工程化时代的五条AI掘金路
·1 分钟
赚钱实战·第6期：Agent工程化时代的五条AI掘金路
每周三分享至少5个用AI赚钱的实战思路，逻辑清晰可执行
阅读全文 →
·8 分钟
Ollama从本地部署转向云端服务？社区争议与开源商业化困境
Ollama近期品牌重心从本地大模型部署转向云端API服务，引发Reddit社区激烈讨论。本文分析Ollama商业化转向背后的资本逻辑、社区担忧，以及开源AI工具用户应如何应对这一趋势变化。
阅读全文 →
·9 分钟
Ollama Max账户被封403错误：付费用户遭遇服务信任危机
Ollama Max付费用户订阅两周后账户突遭403封停，申诉三天无回复。本文分析403错误可能原因、客户支持缺位问题，并提供多渠道申诉和退款保护的实用建议。
阅读全文 →
·13 分钟
Vao2开源信息聚合器：本地AI摘要+多源RSS整合的隐私优先方案
Vao2是一款开源个人信息聚合器，整合新闻、YouTube、GitHub和RSS订阅到单一信息流，通过Ollama本地AI生成内容摘要，兼顾隐私保护与零成本使用，适合重视数据主权的技术用户。
阅读全文 →
·11 分钟
双卡3060跑DeepSeek V4 Flash：IQ2_M量化推理实测3.5tok/s
实测双卡RTX 3060加96GB内存运行DeepSeek V4 Flash，IQ2_M量化精度下推理速度达3.5 tokens/秒。详解硬件配置选择、2-bit量化技术原理、实际使用体验及本地大模型部署优化方向。
阅读全文 →