#本地部署
共 242 篇相关文章
Cherry Studio + MCP 实战：搭建本地知识库与自动化AI智能体
本文详解如何用开源客户端 Cherry Studio 结合 MCP 协议和 Ollama，搭建自动化 AI 智能体与本地知识库，涵盖 DeepSeek 模型配置、UV/Bun 环境、Function Call 限制及网页抓取、Shell 控制等实战场景。
本地大模型改配置翻车？聊聊vLLM运维的真实门槛
一条Reddit梗图揭示本地LLM运维痛点：让大模型自动修改vLLM服务配置为何高风险？本文分析环境变量的静默失败问题，并给出验证、版本控制和功耗优化的实用建议。
Claude Code本地化部署指南：用本地模型跑CC省Token
Claude Code本地化部署入门指南：讲解如何将CC与本地大模型整合，实现离线运行、节省Token成本。涵盖模型体积与显卡显存的配套关系、量化模型优化及云服务器方案选择。
Unsloth新版发布：本地运行Qwen-Image-2.1并支持自定义Agent技能
Unsloth发布v0.1.813-beta版本，支持本地运行Qwen-Image-2.1图像生成模型，新增自定义Agent Skills技能机制，推理速度翻倍，并改进训练可靠性与Linux/ARM64/AMD硬件适配。
本地部署开源大模型攻略：你的电脑能跑哪款？
本地部署开源大模型该选哪款？本文按显存分档给出实用指南：从4G到32G显存分别能跑40亿到270亿参数模型，并解析量化压缩、上下文管理、MoE架构等技巧，帮你判断电脑能否跑动千问、DeepSeek等国产开源模型。
本地大模型能否取代云端API？从Qwen与Hermes实践谈起
从一则 Reddit 帖子出发，探讨本地开源大模型能否取代云端 API。分析 Qwen 与 Hermes 组合搭建本地 Agent 的实践，剖析本地部署在隐私、成本与自主性上的优势与现实门槛。
本地16GB跑赢云端：开源模型Laya速度碾压Jev引热议
开源权重模型 Laya 在 16GB MacBook Air 本地运行，玩 Tetris 决策速度比云端 Jev 快 11 倍。本文解析本地推理为何能在延迟敏感任务中击败云端大模型，以及端侧 AI 的现实意义与局限。
Qwen3.8-27B本地部署全攻略：8G显存也能跑的AI视频神器
阿里 Qwen3.8-27B 开源模型本地部署教程：8G/6G 显存也能运行，通过 LM Studio 部署并接入 ComfyUI 视频生成工作流，附量化版本选择建议，AI 视频创作者福音。
本地GGUF模型导入Ollama：复用ComfyUI模型免重复下载
已经在 ComfyUI 下载了 GGUF 大语言模型，却在 Ollama 重复下载？本教程手把手教你通过 Modelfile 将本地 GGUF 模型导入 Ollama，实现模型共享，免除重复下载和下载失败的烦恼。
LangChain文档为何劝退新手？本地模型与产品推广之痛
一位初学者吐槽 LangChain 文档对新手极不友好：本地模型（Ollama、llama.cpp）集成信息难找、LangSmith 产品推广充斥入门页、示例过度依赖云端 API。本文剖析这些痛点背后的开源文档维护困境。
本地部署AI大模型：低显存电脑跑大模型的可行性辨析
网传低显存电脑免费跑「GPT-6」「Gemini 3.8」教程是否可信？本文辨析本地部署大模型的量化技术真相，拆解「满血AI」「留言领工具包」等营销话术，并给出正确的本地AI部署方法。
ROCmFix与InferBench：AMD显卡本地大模型部署实测
ROCmFix 与 InferBench 项目聚焦 AMD 显卡本地大模型部署，简化 ROCm 环境配置并对比 Vulkan 与 HIP 两种推理后端的性能差异，为本地 LLM 用户提供实用参考。
开源本地AI平台亮相Show HN：数据自主的新选择
一位开发者在Hacker News发布开源、可本地运行的完整AI平台。本文分析本地部署AI在数据隐私、成本可控与开源自由方面的价值，以及早期项目需要关注的现实问题。
MiniCPM 2B小钢炮本地部署与Agent工具调用实战教程
面壁智能MiniCPM 2B小钢炮开源模型本地部署完整教程，通过LM Studio加载GGUF量化版本，仅需4G显存即可运行，并接入DeepSeek Hermes实现工具调用、文档翻译与联网搜索，附详细配置步骤与实测能力分析。
512GB DDR5内存仅16瓦功耗：本地大模型的想象空间
一张512GB DDR5内存仅16瓦功耗的截图在Reddit引发热议。本文解析大容量低功耗内存对本地AI大模型的意义，以及价格为何仍是普通用户的最大门槛。
24GB MacBook Air 跑本地 AI：为什么我选 Qwen 9B？
在 24GB M5 MacBook Air 上跑本地大模型，为什么选千问 3.5 的 9B？实测对比内存占用、翻译自然度、看图能力与工作流配置，给出务实的本地 AI 选型建议。
KoboldCpp能取代Ollama吗？本地AI工具控制权深度对比
KoboldCpp与Ollama都基于llama.cpp引擎，本文深度对比两者在控制权、性能默认设置、context shifting及独有功能上的差异，帮你判断本地运行AI大模型该选哪个工具。
Qwen 27B 本地部署实测：开源大模型能否替代 GPT-4？
Qwen 27B 开源大模型本地部署实测：一条命令用 Ollama 安装，混合注意力支持 262K 长上下文，代码审计任务响应快于 GPT-4，三年成本对比显示本地方案更省钱。开发者本地 AI 部署完整指南。
