#k-quant

共 63 篇相关文章

Ollama是GitHub 17万Star的开源工具，支持一行命令本地运行DeepSeek、Qwen、Kimi-K2.5等主流大模型。本文详解Ollama的模型生态、核心优势、应用场景及为何它成为本地LLM部署的事实标准。

Ollama是GitHub上17万Star的开源工具，支持DeepSeek、Qwen、Gemma等主流大模型本地运行。本文详解Ollama的安装使用、支持模型、适用场景及核心优势，助你快速实现大模型本地化部署。

IBM Granite 4.1开源模型发布，Unsloth提供21种GGUF量化版本。Simon Willison用鹈鹕骑自行车SVG测试发现：3B小模型中量化级别对生成质量影响微乎其微，最小模型反而画出最好的自行车。