#大模型本地部署
共 16 篇相关文章
·12 分钟
Qwen3微调实战：大模型本地部署与领域训练完整指南
深入解析大模型微调的核心原理与实战路径：从理解模型权重本质，到Qwen3本地部署、数据集准备、垂直领域训练，帮助AI应用开发者掌握从应用开发到模型微调的完整技能栈，提升市场竞争力。
阅读全文 →
·12 分钟
Qwen 3.8 27B发布：本地部署最强稠密开源模型解析
阿里通义千问Qwen 3.8 27B以开放权重形式发布，被誉为目前最好的本地部署稠密模型。本文解析其技术定位、27B参数量优势、开放权重的战略意义及社区评价。
阅读全文 →
·17 分钟
Java后端转型AI：Spring AI多Agent协同实战指南
Java后端工程师如何转型AI Agent开发？本文梳理AI能力从Chat到Agentic AI的演进路线，详解ReAct自主决策、MCP工具调用、多Agent协同编排等核心技术，助力后端开发者用Spring AI快速落地智能体应用。
阅读全文 →
·15 分钟
Unsloth发布DeepSeek V4 Flash量化版：162GB实现无损运行
Unsloth团队发布DeepSeek V4 Flash 0731的UD动态量化版本，提供从162GB无损到83GB极限压缩共六个版本。采用MXFP4+BF16混合精度方案，为本地部署大模型提供完整精度梯度选择。
阅读全文 →
·17 分钟
Q8_K_XL与MXFP4命名之争：FP8≠Q8_0的量化真相
深入解析大模型量化格式Q8_K_XL与MXFP4的命名差异，剖析FP8与Q8_0的本质区别，澄清"8-bit即无损"的常见误解，帮助本地部署用户选对量化版本。
阅读全文 →
·16 分钟
Quantprobe：6GB显卡跑30B大模型的开源利器
Quantprobe是一个开源内存分配优化框架，通过逐层量化布局和智能CPU/GPU拆分，让6GB显存的老显卡以22 tokens/s速度运行30B参数大模型，大幅降低本地LLM部署的硬件门槛。
阅读全文 →
·7 分钟
开源模型狂欢背后：谁来提供便宜的推理服务？
开源大模型权重开放不等于开发者能低成本使用。本文分析开源AI生态的推理服务困境，探讨为什么开发者需要便宜稳定的API端点，以及Together AI、Groq等推理服务商如何填补最后一公里的空缺。
阅读全文 →
·9 分钟
Ollama导入GGUF后模板失效：自定义TEMPLATE被静默覆盖的排查指南
深入分析Ollama导入GGUF模型后自定义TEMPLATE被内嵌模板静默覆盖的问题。通过/api/show接口验证实际生效模板，避免模型评测结果失真。附完整排查步骤与解决方案。
阅读全文 →
·12 分钟
Redis之父如何将2840亿参数DeepSeek塞进普通笔记本
Redis作者antirez开发纯C推理引擎DS4「矮星」，通过不对称量化将DeepSeek V4 Flash从500GB压缩至80.8GB，实现128GB统一内存本地部署，每秒生成26.7个Token。本文深度解析MoE架构优势、三档部署现实与本地大模型的真正门槛。
阅读全文 →
·17 分钟
LangChain实战入门：大模型调用到Agent开发全指南
从零掌握LangChain框架核心用法：解析大模型三大局限，讲解init_chat_model统一接口配置、Message消息类型体系，以及从LLM调用迈向Agent智能体开发的完整路径，适合Python AI应用开发者入门参考。
阅读全文 →
教程攻略·7 分钟
Ollama入门指南：本地部署开源大模型的最佳工具
详解Ollama本地大模型管理工具的核心功能与特点，包括免费开源、跨平台支持、智能GPU/CPU调度、API集成等能力，帮助你零成本在本地运行DeepSeek等开源大模型。
阅读全文 →
深度解读·8 分钟
从Copilot到Agentic AI：四阶段看懂AI发展脉络与核心趋势
系统梳理AI从聊天模式、Copilot、Agent到Agentic AI的四阶段演进路径，深入拆解多智能体协同架构、ReAct思维框架与MCP协议等核心技术，帮你抓住不会被淘汰的底层能力。
阅读全文 →
产品体验·9 分钟
GPT-OSS 120B/20B开源模型深度测评：幻觉、推理、代码全面实测
OpenAI开源GPT-OSS 120B和20B模型全面测评，涵盖幻觉测试、逻辑推理、代码生成、SQL查询、文档分析等多维度实测，附部署方式与选型建议，助你选择最适合的开源大模型。
阅读全文 →
教程攻略·7 分钟
Gemma 4部署DGX Spark实战：本地AI超算+开源大模型全解析
深度解析Google Gemma 4模型在NVIDIA DGX Spark上的部署方案。涵盖DGX Spark硬件架构、Gemma 4技术亮点、本地AI部署优势及开发者实践指南，助你掌握桌面级AI超算的最新玩法。
阅读全文 →
深度解读·10 分钟
AI Agent发展四阶段：从Copilot到多Agent协同架构全解析
深度解析AI智能体发展的四个阶段：聊天模式、Copilot辅助、Agent代理到Agentic AI多智能体协同。详解ReAct思维框架、Spring AI技术栈与多Agent协同架构设计思想，把握2025年AI核心趋势。
阅读全文 →
深度解读·11 分钟
从Copilot到Agentic AI：多智能体协作架构全解析
深度解析AI从聊天模式、Copilot到Agentic AI的四阶段演进路线，详解多Agent协作架构、ReAct思维框架、MCP协议等核心技术，帮助开发者把握2025年AI Agent发展趋势与实践方向。
阅读全文 →