#GGUF
共 473 篇相关文章
·7 分钟
M4 Pro 64GB本地部署视觉模型指南：选型与工具推荐
M4 Pro 64GB内存如何选择本地视觉语言模型？对比Qwen2.5-VL、Llama 3.2 Vision等主流VLM的速度与效果，推荐Ollama、LM Studio、MLX等部署工具，帮你找到快速响应与视觉能力的最佳平衡点。
阅读全文 →
·9 分钟
开源大模型暗藏定时后门：AI供应链安全威胁解析
开源大语言模型可能被植入定时释放后门，在特定条件触发时执行恶意行为。本文深入分析AI模型后门的工作原理、为何难以检测，以及企业如何通过模型溯源、权重签名和红队测试来防范AI供应链攻击。
阅读全文 →
·17 分钟
The Finn：部署在路由器里会吐槽的AI智能体
The Finn是一个将AI智能体部署到路由器中的开源项目，智能体会对所处硬件环境不停抱怨。本文拆解其边缘AI部署的技术挑战、智能体人格化的产品设计哲学，以及本地智能体的未来趋势。
阅读全文 →
·13 分钟
开源AI模型托管平台集体降智？深层原因与应对策略
开源AI模型托管平台被指集体降智，开发者质疑量化压缩、上下文削减和安全提示注入。本文深入分析技术原因，探讨开源模型托管的透明度与信任危机，并提供实用应对建议。
阅读全文 →
·8 分钟
本地部署无审查AI模型完全指南：从硬件到实操
详细讲解如何从零搭建本地无审查AI模型，涵盖硬件要求、Ollama安装、text-generation-webui配置、模型量化格式选择及abliteration技术原理，助你完全离线运行大语言模型。
阅读全文 →
LLM City：把大模型权重变成一座3D城市是什么体验
·16 分钟
LLM City：把大模型权重变成一座3D城市是什么体验
LLM City项目将大语言模型的全部权重渲染为一座3D城市，每个参数化为2.5mm瓷砖，用空间尺度直观呈现万亿参数的真实规模。本文解析这一数据可视化项目的设计思路、技术价值与对AI规模竞赛的深层隐喻。
阅读全文 →
·13 分钟
腾讯混元大模型从1.5TB压缩至200GB，性能保留98%
腾讯将混元大模型从1.5TB压缩至约200GB的GGUF格式，性能保留约98%。本文解析量化压缩技术原理、GGUF格式的生态价值，以及这一成果对本地部署和开源社区的深远影响。
阅读全文 →
·12 分钟
Gemini被指持续降智：AI模型退化争议与用户信任危机
Google Gemini被用户指控更新后持续降智，在Workspace文档导航等任务中频频出错。本文从模型调整、安全对齐、用户预期等角度深入分析AI模型退化争议的技术成因，探讨厂商版本透明度与用户信任维系之道。
阅读全文 →
·16 分钟
27B FP8模型能塞进24GB显卡吗？显存真实需求拆解
27B FP8模型权重约31GB，已超出24GB显卡容量，加上KV cache显存需求更高。本文从权重体积、KV cache、量化方式三个维度拆解27B模型的真实显存占用，帮你判断本地部署的实际硬件门槛。
阅读全文 →
科技前沿
每日AI新鲜事·08月31日早间版：No AI Fridays与本地记忆引擎
·1 分钟
每日AI新鲜事·08月31日早间版：No AI Fridays与本地记忆引擎
2026年08月31日（周一）早间版 AI新闻速递+热点深度讨论
阅读全文 →
·7 分钟
DeepSeek涨价后三种API替代方案实测对比
DeepSeek-V4 API大幅涨价后，实测三种替代方案：OpenCodeGo商业中转平台、本地部署Qwen3 32B、免费API平台，附模型切换工具A4API配置教程与方案组合建议。
阅读全文 →
·11 分钟
AI订阅价格战：超低价优惠背后的用户留存博弈与消费陷阱
深度解析AI订阅服务超低价促销背后的商业逻辑，揭示厂商用户留存策略、锚定效应陷阱及理性订阅建议，帮助用户在AI工具价格战中做出明智选择。
阅读全文 →
·16 分钟
多Harness集成实践：本地与云端推理的平衡之道
探讨AI编程工具中多Harness集成的实践经验，分析本地推理与云端推理的优劣权衡，涵盖Ollama云端方案、M5 Max本地推理瓶颈、隔夜模式设计思路，以及混合部署策略的最优组合。
阅读全文 →
·19 分钟
MCP协议详解：智能体工具接入的标准化之路
深入解析MCP（模型上下文协议）的核心价值、三大角色架构与工程实践。通过课程通知MCP服务器实战案例，讲解如何用FastMCP构建服务端、用LangChain加载MCP工具，并给出本地工具与MCP工具的对比及三条设计建议。
阅读全文 →
·12 分钟
GLM-5.3开放权重：智谱AI开源策略与开发者生态解读
智谱AI的GLM-5.3模型正式开放权重，登上Hacker News热榜。本文解读开放权重与开源的区别、对开发者的实际价值、中国大模型开源浪潮趋势，以及社区关注的性能、许可协议与部署门槛等核心议题。
阅读全文 →
·15 分钟
Mac Studio本地运行Qwen 27B：真实性能实测与部署指南
开发者在Mac Studio上实测运行Qwen 27B大模型，详解统一内存架构优势、量化策略选择、tokens/s实际表现，以及本地部署大模型的成本与隐私考量。
阅读全文 →
·7 分钟
Ornith 1.5 开源模型系列发布：9B、35B MoE、397B 三款登陆 HuggingFace
Ornith AI 发布 Ornith 1.5 系列三款开源模型，涵盖 9B 稠密模型、35B-A3B MoE 架构和 397B 旗舰模型，同步提供 GGUF 量化版本支持本地部署，覆盖从消费级显卡到研究机构的多层次需求。
阅读全文 →
·14 分钟
AI编程额度一小时耗尽：高级模型的成本困境与应对策略
一位开发者在不到一小时内耗尽AI编程订阅额度，揭示了GPT-5.6、Grok 4.6等高级模型的隐性成本问题。本文分析高消耗原因，并提供分层调用、精简上下文等实用省额度策略。
阅读全文 →
