#Q4_K_M
共 127 篇相关文章
·11 分钟
Ollama保姆级教程：本地部署AI大模型完全指南
详解Ollama下载安装与使用方法，手把手教你在Windows/Mac/Linux本地部署DeepSeek、Llama等开源大模型，零基础也能轻松上手，数据私有免费使用。
阅读全文 →
·11 分钟
Llama.cpp Windows本地部署教程：免编译三步运行大模型
详解Llama.cpp在Windows系统上的免编译本地部署方法。从下载预编译包、配置CUDA依赖到运行GGUF量化模型，三步完成大模型本地推理，支持GPU加速与Web界面，适合零基础用户快速上手。
阅读全文 →
·9 分钟
本地部署大模型的5种方法：从入门到生产环境
详解本地部署大模型的5种主流方案：LlamaCPP、Ollama、LM Studio、vLLM/SGLang、MLX-LM，涵盖从个人开发到生产环境的完整选型指南，助你实现数据不出本地的AI私有化部署。
阅读全文 →
·9 分钟
Gemma 4开源模型本地部署教程：Ollama安装与手机端运行指南
详细介绍Google Gemma 4开源模型的本地部署方法，包括Ollama一键安装运行31B旗舰版、手机端运行1.2B轻量版，以及工具调用等实测体验，助你零成本体验高性能AI模型。
阅读全文 →
·11 分钟
Nex N2 Pro实测：官方跑分前五，独立测试仅排第十二
深度实测Nex N2 Pro开源Agent模型，对比官方Benchmark与独立评测结果。397B参数模型在前端生成、代码输出方面表现不俗，但官方跑分与真实能力存在明显差距，实际排名第十二而非前五。
阅读全文 →
教程攻略·7 分钟
Ollama入门指南：本地部署开源大模型的最佳工具
详解Ollama本地大模型管理工具的核心功能与特点，包括免费开源、跨平台支持、智能GPU/CPU调度、API集成等能力，帮助你零成本在本地运行DeepSeek等开源大模型。
阅读全文 →
教程攻略·9 分钟
Ollama+Gemma 4本地运行Codex：零成本AI编程完整指南
详解如何用Ollama本地部署Gemma 4模型运行Codex，实现零成本AI编程。涵盖安装配置、模型选择、实际效果演示，替代每月20-200美元的付费方案，适合独立开发者和预算有限的团队。
阅读全文 →
教程攻略·10 分钟
llama.cpp MTP加速部署指南：配置步骤与性能实测
详解llama.cpp如何启用MTP多Token预测加速技术，涵盖CUDA环境配置、桌面端设置、模型选择及实测性能数据，Qwen3 27B实测近60 Token/s。
阅读全文 →
教程攻略·11 分钟
Qwen3.5+RAGFlow+Ollama本地AI知识库搭建实战指南
详细教程：使用RAGFlow、Ollama和LM Studio搭建本地RAG知识库，涵盖Docker环境配置、Embedding模型部署、网络踩坑解决方案，实现数据私有化的智能问答系统。
阅读全文 →
教程攻略·9 分钟
大模型命名规则解析：参数量、量化格式与显存需求速查
系统拆解大模型命名规则，解释32B参数量、AWQ/GGUF量化格式的含义，提供4-bit量化显存估算公式与速查表，涵盖MOE模型显存陷阱、IMatrix量化推荐及按显存档位的模型选择建议。
阅读全文 →
教程攻略·6 分钟
免费使用Claude Code：CC Switch+Ollama本地模型驱动AI编程Agent教程
详细教程教你通过CC Switch将本地Ollama模型伪装成Claude API，零成本驱动Claude Code桌面版进行AI编程。涵盖安装配置、模型选择、实测效果，支持千问、Gemma等开源模型。
阅读全文 →
产品体验·5 分钟
QwenCoder本地部署实测：能否替代付费AI编程助手？
实测QwenCoder 80B本地部署效果，对比Gemini、Claude等付费AI编程工具。详解硬件配置、LM Studio部署方案及实际编程能力测试结果，帮你判断本地模型能否省下AI订阅费。
阅读全文 →
教程攻略·7 分钟
DeepSeek本地部署教程：Ollama一键安装运行指南
详细讲解如何通过Ollama在本地部署DeepSeek R1大模型，包括安装步骤、模型版本选择、硬件配置要求及进阶玩法，零基础10分钟搞定私有化AI部署。
阅读全文 →
教程攻略·6 分钟
本地部署大模型怎么判断显存爆了？一文看懂显存监控方法
本地部署大模型时如何判断显存是否爆满？本文详解专用显存与共享GPU内存的区别，教你通过任务管理器快速判断显存溢出，并提供模型量化、上下文长度控制等避免爆显存的实用建议。
阅读全文 →
教程攻略·5 分钟
vLLM与SGLang本地部署教程：性能提升3-8倍的实战指南
详解vLLM和SGLang本地部署全流程，对比LM Studio性能差距，通过Docker+AI助手三步完成部署。涵盖SGLang与vLLM选型建议、5090显存优化、Qwen3模型推荐及Cherry Studio接入方法。
阅读全文 →
教程攻略·7 分钟
Unsloth教程：本地微调大模型速度提升数倍，显存节省60%
Unsloth是GitHub 63K星标的开源大模型微调工具，支持Gemma 4、Qwen3、DeepSeek等模型。通过底层内核优化实现训练加速数倍、显存大幅降低，消费级GPU即可完成微调，提供Web UI图形界面，适合个人开发者和企业私有化部署。
阅读全文 →
教程攻略·8 分钟
Ollama教程：本地运行大模型的完整指南（2025最新）
详解Ollama本地部署大语言模型的完整教程，支持DeepSeek、Qwen、Kimi-K2.5等主流模型。17万Star开源项目，一键安装即可在本地运行LLM，保护数据隐私，零API成本。
阅读全文 →
教程攻略·7 分钟
Ollama教程：本地一键运行DeepSeek、Qwen等大模型完整指南
详解Ollama开源工具的安装使用方法，支持DeepSeek、Qwen、Kimi-K2.5、GLM-5等主流大模型本地部署，17万Star的最受欢迎本地大模型运行框架，助你实现离线AI推理与隐私保护。
阅读全文 →
