#混合精度量化
共 46 篇相关文章
·16 分钟
Homebench：本地大模型速度、内存与质量三维评测工具详解
Homebench是一款开源的本地大模型评测工具，从速度、内存占用和输出质量三个维度综合评估LLM在本地硬件上的真实表现，帮助开发者做出最优的模型选型和量化方案决策。
阅读全文 →
·15 分钟
Unsloth联手Thinking Machines：1-bit动态量化压缩86%，270GB跑多模态大模型
Unsloth与Thinking Machines合作推出Inkling模型动态1-bit GGUF量化版本，将模型从1.9TB压缩至270GB，缩减86%且保留74.2%准确率，并支持视觉和音频多模态能力，大幅降低本地部署门槛。
阅读全文 →
·14 分钟
Laguna S 2.1发布：多种部署方式如何改变AI产品竞争格局
Laguna S 2.1发布，主打灵活部署策略，支持云端API、本地私有化部署等多种运行方式。本文分析其部署优先的产品理念，探讨数据主权、成本控制与供应商锁定等关键议题，解读AI基础设施竞争新趋势。
阅读全文 →
·12 分钟
antirez出手：纯C打造DeepSeek 4本地推理引擎ds4
Redis之父antirez开源ds4项目，用纯C语言打造DeepSeek 4 Flash与PRO本地推理引擎，原生支持Metal、CUDA和ROCm三大GPU后端，GitHub斩获近2万Stars。本文深度解析ds4的技术选型、多后端架构与本地推理价值。
阅读全文 →
·13 分钟
Token经济学：AI时代的价值新度量单位
深入解析Token如何从大语言模型的技术概念演变为AI经济的核心计量单位。探讨AI Agent时代Token消耗爆炸、成本优化策略及Token经济学对开发者和投资人的深层影响。
阅读全文 →
·9 分钟
LLM推理速度计算公式：显存带宽决定tokens/sec
详解为什么显存带宽(GB/s)而非显存容量决定大模型本地推理速度。提供tokens/sec计算公式，对比主流显卡带宽数据，给出实用选卡决策顺序，帮你用两个数字精准预测本地大模型生成速度。
阅读全文 →
·12 分钟
Ollama接入OpenWebUI效果变差？完整排查指南
详解Ollama连接OpenWebUI后回答质量下降、响应变慢的常见原因，涵盖num_ctx上下文截断、采样参数差异、GPU资源争抢、系统提示词干扰等排查方法，附系统化排查清单。
阅读全文 →
llmfit：一条命令检测硬件能跑哪些本地大模型
·15 分钟
llmfit：一条命令检测硬件能跑哪些本地大模型
llmfit 是用 Rust 编写的开源命令行工具，无需下载模型即可预判本地硬件能否运行指定 LLM。覆盖数百种模型与 Ollama、llama.cpp 等主流推理后端，帮助开发者在本地部署大模型前快速完成硬件适配评估，避免反复试错。
阅读全文 →
·13 分钟
270亿参数大模型压进iPhone？端侧AI全参数运行技术解析
AI创业公司Prismo宣称将270亿参数模型压缩至4GB，在iPhone 17 Pro上实现全参数本地运行，支持离线复杂对话、代码生成与自主编程代理。本文深度解析其压缩技术原理、与苹果MoE方案的差异，以及端侧AI的真实能力边界。
阅读全文 →
·16 分钟
Mesh LLM：用多台旧电脑拼出虚拟超级显卡跑大模型
Mesh LLM 是一款开源分布式推理框架，通过模型分层拆分，将多台普通设备聚合成「虚拟超级显卡」，让小显存机器也能运行数百GB的超大语言模型。本文详解其工作原理、跨平台安装体验，以及网络带宽这一不可回避的物理瓶颈。
阅读全文 →
·13 分钟
从零构建离线RAG应用：PDF文档本地问答完整指南
详解如何用Ollama、ChromaDB和Flask搭建完全离线的RAG应用，实现PDF文档本地问答。涵盖文档切分、向量化存储、检索增强生成及防幻觉设计，数据不出本地，无需API付费。
阅读全文 →
·12 分钟
阿里禁用Claude Code：AI编程工具安全与数据主权之争
阿里巴巴因安全风险禁用Claude Code，引发技术社区热议。本文深度解析企业使用云端AI编程工具的数据泄露隐患，探讨本地部署AI的崛起趋势，以及AI行业从能力竞赛转向信任建设的深层逻辑。
阅读全文 →
·9 分钟
统一内存架构揭秘：迷你PC如何运行70B大模型
为什么配备统一内存的迷你PC能跑70B大模型，RTX 4090却束手无策？本文深度解析显存墙与统一内存架构的核心差异，帮助开发者和AI爱好者做出更明智的本地部署硬件选择。
阅读全文 →
·16 分钟
Cursor集成Grok 4.5实测：速度快5倍、输出更简洁的AI编程助手
一位开发者在Cursor中深度测试Grok 4.5 High Fast模型，发现其质量媲美Claude Opus却快出5倍，输出更简洁无冗余。本文详解实测体验、核心优势及对AI编程工具生态的影响，助你判断是否值得切换。
阅读全文 →
·11 分钟
DeepSeek Coder深度解析：开源代码大模型如何超越GPT-4
全面解析DeepSeek Coder从V1到V2的架构升级：MoE混合专家架构、128K超长上下文、90.2% HumanEval通过率，首个超越GPT-4 Turbo的开源代码模型。涵盖核心能力、部署方案与适用场景对比。
阅读全文 →
·17 分钟
Krea2实测：FP8与BF16画质差距还存在吗？
一位Reddit用户对Krea2模型进行FP8与BF16精度对比测试，发现两者画质几乎无差异。本文深入分析量化差距缩小的技术原因，以及对消费级用户显存占用和推理速度的实际影响，帮助你做出更明智的精度选择。
阅读全文 →
·8 分钟
16G显存实测：Ornith 35B vs Qwen 35B全方位对决
在16GB显存条件下，Ornith 35B与Qwen 3.6 35B谁更强？本文梳理超24小时实测结果，涵盖推理速度、256K长上下文、Agency工具调用、HumanEval编程评测等多项测试，帮助本地部署用户做出选择。
阅读全文 →
·13 分钟
谷歌Made by Google发布会确认：Pixel新机携AI能力即将亮相
谷歌正式确认将在纽约举办Made by Google硬件发布会，新一代Pixel系列手机蓄势待发。新机预计搭载新版Tensor芯片并深度整合Gemini AI能力，端侧AI功能全面升级。本文解读发布时间选择背后的市场信号与Pixel的AI战略布局。
阅读全文 →
