#本地部署
共 242 篇相关文章
科技前沿Qwen3.6 MTP加速实测：单GPU推理飙到220 token/s
Qwen3.6实验性MTP-GGUF版本实测，单GPU将35B-A3B模型推理速度提升至220 token/s，比原版快1.4倍且精度零损失。详解MTP原理、最优Draft Tokens策略及RTX 5090实测数据。
教程攻略本地部署DeepSeek+RAG知识库教程：Ollama+RAGFlow保姆级指南
手把手教你用Ollama本地部署DeepSeek大模型，结合RAGFlow搭建RAG私有知识库。涵盖环境配置、Docker部署、Embedding原理讲解，支持离线运行，保障数据隐私，轻松实现企业级智能问答。
教程攻略RAGFlow本地部署教程：Docker搭建企业级RAG知识库全流程
详解RAGFlow本地部署全流程，涵盖RAG技术原理、Docker环境配置、Ollama大模型接入、知识库创建与对话测试。手把手教你从零搭建企业级知识库问答系统，实现数据私有化部署。
教程攻略DeepSeek+RAGFlow本地部署AI知识库教程（2025最新）
手把手教你用DeepSeek+RAGFlow+Ollama本地部署个人AI知识库。涵盖RAG原理解析、Ollama安装、Docker部署RAGFlow、知识库创建与调优全流程，数据完全私有，零基础可上手。
教程攻略Anima二次元大模型：6G显存本地部署与工作流配置教程
详解Anima二次元动漫AI绘图大模型的本地部署方法，仅需6G显存即可流畅运行。涵盖ComfyUI工作流配置、文生图参数设置、高清放大技巧及低显存优化建议，适合中低端显卡用户。
产品体验Open Design：开源AI设计框架，连接现有编程智能体
Open Design 是本地优先的 Apache 2.0 开源设计框架，支持连接 Claude Code、Cursor、Gemini CLI 等编程智能体，内置19种可组合技能和71套 Design.md 设计系统，实现高质量UI设计生成与本地私有化部署。
教程攻略MoS-TTS-Nano部署教程：0.1B超轻量TTS模型CPU即可运行
经实战验证的MoS-TTS-Nano本地部署教程，0.1B参数超轻量TTS语音合成模型无需GPU，四核CPU即可流畅运行。涵盵Conda环境配置、pynini安装踩坑解决、模型下载及Gradio WebUI启动全流程。
产品体验AnythingLLM：本地部署的全能AI知识库工具深度解析
深度解析AnythingLLM开源项目，一款隐私优先、零配置的本地AI生产力平台。支持RAG文档对话、多模型接入、知识库管理和AI Agent，GitHub近6万星标，适合企业和个人本地部署使用。
产品体验GPT-OSS 120B/20B开源模型深度测评：幻觉、推理、代码全面实测
OpenAI开源GPT-OSS 120B和20B模型全面测评，涵盖幻觉测试、逻辑推理、代码生成、SQL查询、文档分析等多维度实测，附部署方式与选型建议，助你选择最适合的开源大模型。
教程攻略OpenAI开源GPT-OSS：16G显存跑O4级模型，部署教程全解析
OpenAI正式开源GPT-OSS系列模型（20B/120B），采用MOE架构+FP4混合精度，单卡4090即可运行O3级推理模型。本文详解核心技术、性能评测及Ollama/vLLM等四种本地部署方案。
产品体验UI-Tars Desktop实测：安装部署教程与Claude Bot对比评测
详细实测字节跳动开源AI Agent工具UI-Tars Desktop，手把手教你本地安装配置，完成三项任务测试，并与Claude Bot、NanoBot横向对比，解析其开源免费、本地运行的核心优势与现存不足。
教程攻略Codex+Ollama本地部署教程：零成本搭建AI编程助手
手把手教你用Codex搭配Ollama在本地部署免费AI编程助手，涵盖硬件检测、Ollama安装、Gemma/Qwen模型下载与接入配置全流程，轻松实现隐私安全的本地AI编程工作流。
教程攻略Ollama+OpenCode本地部署AI编程：零成本替代Cursor的完整方案
详细教程：通过Ollama本地部署千问3 Coder大模型，配合OpenCode开源编程工具，实现零成本AI编程。涵盖环境搭建、代码生成、自动调试全流程，附硬件配置建议。
产品体验GPT-OSS 120B本地部署实测：代码生成、推理能力全面对比O4 Mini
实测OpenAI首个开源推理模型GPT-OSS 120B，通过Ollama本地部署，从代码生成、逻辑推理、UI设计等维度全面评测，与O4 Mini深度对比，揭示这款开源模型的真实水平与部署踩坑经验。
深度解读阿里QwQ-32B开源：32B参数如何媲美671B的DeepSeek R1
阿里开源推理模型QwQ-32B仅用32B参数，在多项基准测试中媲美甚至超越DeepSeek R1满血版（671B）。本文深度解析其两阶段强化学习训练策略、性能对比数据，以及强化学习带来的能力涌现现象，揭示小参数模型以小博大的核心秘密。
教程攻略GPT-OSS开源模型本地部署教程：实测效果与显存占用分析
详细介绍OpenAI开源GPT-OSS模型的本地部署全流程，使用Ollama在RTX 4090上实测20B版本的中文理解、逻辑推理等能力表现，分析MoE架构下的显存占用与硬件需求。
教程攻略Whisper本地部署教程：手把手搭建免费语音转文字工具
详细图文教程教你在本地部署OpenAI Whisper语音识别工具，涵盖Conda环境配置、PyTorch安装、模型选择到实际转录操作全流程，支持近百种语言，免费生成SRT字幕文件。
教程攻略GPT-OSS本地部署教程：Ollama一键运行OpenAI开源模型
详解OpenAI开源模型GPT-OSS的本地部署方法，涵盖20B/120B版本对比、Ollama安装配置、硬件要求及实测效果，助你在家用电脑上离线运行接近ChatGPT水平的AI模型。
产品体验Gemma 4深度体验：谷歌顶级AI免费离线运行实测
深度体验谷歌Gemma 4开源AI模型，涵盖本地部署教程、与ChatGPT正面对比、手机离线运行演示。四种模型尺寸从手机到工作站全覆盖，通过LM Studio零代码搭建，数据完全私密且永久免费。
教程攻略GPT-OSS-20B私有化部署教程：硬件选型+部署流程+效果实测
详解OpenAI开源GPT-OSS-20B本地私有化部署全流程，涵盖显卡选型（RTX 5090/V100/4070Ti）、Linux环境部署步骤、API调用配置及实测效果，附120B模型硬件方案对比，助你低成本搭建企业级AI服务。