#k-quant
共 57 篇相关文章
·14 分钟
4090跑Qwen3 27B为何这么慢？本地推理性能优化实战
RTX 4090运行Qwen3 27B模型推理耗时超400秒？本文深入分析显存溢出、CPU卸载拖累等核心原因，并提供量化选型、GPU层配置等针对性优化方案，帮你彻底解决本地大模型部署的性能瓶颈。
阅读全文 →
·12 分钟
Ollama为何快速崛起？拆解本地大模型工具的成功逻辑
Ollama如何从小众开源项目成长为开发者默认选择？本文从产品设计、技术策略、生态建设三个维度，拆解Ollama在本地大语言模型工具领域快速崛起的核心逻辑，以及它对AI工具开发者的启示。
阅读全文 →
·14 分钟
三星芯片单年利润超40年总和：AI浪潮引发存储涨价危机
三星芯片部门单年利润预计超过过去40年总和，季度利润同比暴增19倍，超越英伟达成全球最赚钱公司。AI数据中心疯狂抢占HBM与DRAM产能，导致DDR5内存、SSD价格持续攀升，本地大模型玩家硬件成本大幅抬高。
阅读全文 →
·12 分钟
Unsloth v0.1.463-beta：修复Studio崩溃与llama-server权限问题
Unsloth发布v0.1.463-beta版本，修复Studio在llama-server服务发现时因access-denied权限错误导致崩溃的问题。适用于多用户服务器及Windows环境用户，提升大模型微调框架稳定性。
阅读全文 →
·8 分钟
16G显存实测：Ornith 35B vs Qwen 35B全方位对决
在16GB显存条件下，Ornith 35B与Qwen 3.6 35B谁更强？本文梳理超24小时实测结果，涵盖推理速度、256K长上下文、Agency工具调用、HumanEval编程评测等多项测试，帮助本地部署用户做出选择。
阅读全文 →
·17 分钟
Ollama+Hermes本地AI部署：打造100%私有的个人AI操作系统
用Ollama+Hermes构建完全私有的本地AI系统：零费用、无速率限制、数据不出本地。本文详解部署步骤、模型选择技巧及私有/云端混合工作流，助你真正"拥有"AI而非"租用"AI。
阅读全文 →
·19 分钟
Electron+LangGraph实战：从零搭建AI Agent可视化编排应用
本文基于实战教程，详解如何用Electron Forge与LangGraph构建企业级AI Agent工作流编排应用，涵盖本地大模型部署（Qwen3-0.6B）、节点式可视化画布设计及Function Calling全链路打通，适合求职者打造有深度的全栈AI项目。
阅读全文 →
·11 分钟
捍卫本地AI运行权：隐私、自由与数字主权之战
本地AI（Local AI）正面临政策监管收紧、硬件封锁与商业挤压三重威胁。本文深度解析为何在自己的设备上自由运行开源大模型，是每个人都应守护的数字权利——涉及隐私保护、抗审查自由与长期可用性。
阅读全文 →
·15 分钟
Ollama：175K Star本地大模型一键运行工具
Ollama是GitHub上超175K Star的开源本地大模型运行工具，基于Go语言开发，支持Llama、Mistral、Qwen等主流模型，三步即可完成本地部署，开箱即用，适合开发者与AI爱好者快速上手本地LLM推理。
阅读全文 →
·11 分钟
Llama.cpp Windows本地部署教程：免编译三步运行大模型
详解Llama.cpp在Windows系统上的免编译本地部署方法。从下载预编译包、配置CUDA依赖到运行GGUF量化模型，三步完成大模型本地推理，支持GPU加速与Web界面，适合零基础用户快速上手。
阅读全文 →
·9 分钟
本地部署大模型的5种方法：从入门到生产环境
详解本地部署大模型的5种主流方案：LlamaCPP、Ollama、LM Studio、vLLM/SGLang、MLX-LM，涵盖从个人开发到生产环境的完整选型指南，助你实现数据不出本地的AI私有化部署。
阅读全文 →
产品体验·9 分钟
Mac本地跑Qwen3.6-27B：4种方案实测对比
实测对比Mac本地运行Qwen3.6-27B的4种方案，包括GGUF、MLX Diflash和MTP-LX。MTP-LX 4bit方案以43.6 tok/s速度领先，编码、写作、推理质量均可圈可点，附安装配置指南。
阅读全文 →
教程攻略·7 分钟
Ollama教程：本地一键运行DeepSeek、Qwen等大模型完整指南
详解Ollama开源工具的安装使用方法，支持DeepSeek、Qwen、Kimi-K2.5、GLM-5等主流大模型本地部署，17万Star的最受欢迎本地大模型运行框架，助你实现离线AI推理与隐私保护。
阅读全文 →
教程攻略·15 分钟
Ollama教程：一条命令本地运行DeepSeek等大模型
Ollama是GitHub上17万Star的开源工具，支持DeepSeek、Qwen、Kimi-K2.5等主流大模型本地运行。本文详解Ollama的核心优势、支持模型、技术架构及数据隐私价值，帮你快速上手本地AI部署。
阅读全文 →
教程攻略·15 分钟
Ollama完全指南：一行命令本地运行DeepSeek等大模型
Ollama是GitHub 17万Star的开源工具，支持一行命令本地运行DeepSeek、Qwen、Kimi-K2.5等主流大模型。本文详解Ollama的模型生态、核心优势、应用场景及为何它成为本地LLM部署的事实标准。
阅读全文 →
教程攻略·15 分钟
Ollama教程：一键本地部署DeepSeek等大模型
Ollama是GitHub上17万Star的开源工具，支持DeepSeek、Qwen、Gemma等主流大模型本地运行。本文详解Ollama的安装使用、支持模型、适用场景及核心优势，助你快速实现大模型本地化部署。
阅读全文 →
科技前沿·6 分钟
IBM Granite 4.1量化测试：21个GGUF版本SVG生成对比实验
IBM Granite 4.1开源模型发布，Unsloth提供21种GGUF量化版本。Simon Willison用鹈鹕骑自行车SVG测试发现：3B小模型中量化级别对生成质量影响微乎其微，最小模型反而画出最好的自行车。
阅读全文 →