#GPTQ
共 274 篇相关文章
·9 分钟
自托管LLM技术栈：从终端统一管理本地AI集群的完整指南
深入解析如何自托管LLM技术栈，涵盖推理引擎选型、模型管理、向量数据库配置等核心组件，探讨从终端统一管理本地AI集群的实践方案、硬件要求与技术挑战。
阅读全文 →
·10 分钟
Nemotron 2-bit量化30B模型持续工具调用10分钟意味着什么
NVIDIA Nemotron 3.5 Lightning模型在极限2-bit量化后仍能持续运行工具调用超10分钟，展现了低比特量化模型在Agent任务中的惊人鲁棒性。本文拆解2-bit量化技术难点、工具调用的严苛要求及这一突破对本地部署的现实意义。
阅读全文 →
·10 分钟
为什么你的本地大模型感觉比实际"笨"？
本地部署LLM总感觉比在线版本笨？本文从量化损失、上下文截断、采样参数、Prompt模板四个维度分析原因，并提供详细的优化排查清单，帮你让本地大模型发挥真实水平。
阅读全文 →
·9 分钟
Qwen3.8-27B成史上最火开源模型：断层式领先DeepSeek-R1
Qwen3.8-27B成为Unsloth社区使用量最高的开源模型，远超DeepSeek-R1和Qwen3.6-35B-A3B。27B参数量化后可在消费级显卡本地部署，成为开发者首选基座模型。深度解析其爆火原因与开源生态趋势。
阅读全文 →
·8 分钟
Amiga 500跑AI编程助手：1987年古董硬件如何接入现代AI
开发者在1987年的Commodore Amiga 500（7MHz CPU、1MB内存）上成功运行AI编程助手。本文解析客户端-服务端分离架构如何让古董硬件接入大语言模型，探讨AI能力服务化与终端轻量化趋势。
阅读全文 →
·19 分钟
KerasFormers：纯Keras 3跨框架预训练Transformer模型库详解
KerasFormers是基于Keras 3多后端架构的预训练Transformer模型库，支持JAX、PyTorch和TensorFlow三大框架无缝切换。本文详解其技术原理、开发者价值及与Hugging Face的差异化定位。
阅读全文 →
·9 分钟
ONNX Runtime详解：跨平台AI推理与训练加速引擎
深入解析ONNX Runtime的核心架构与应用场景，涵盖执行提供者机制、训练加速能力、边缘部署及大模型推理优化，帮助开发者掌握这一跨平台机器学习推理加速引擎。
阅读全文 →
·12 分钟
Qwen 3.8 27B发布：本地部署最强稠密开源模型解析
阿里通义千问Qwen 3.8 27B以开放权重形式发布，被誉为目前最好的本地部署稠密模型。本文解析其技术定位、27B参数量优势、开放权重的战略意义及社区评价。
阅读全文 →
·7 分钟
Magnitude：模型全留本机的隐私优先代码助手
Magnitude是一款将模型推理和Agent执行全部留在本机的私有代码助手，支持硬件感知自动配置、文件修改、命令执行等完整Agent能力，专为代码敏感、重视隐私的开发者设计。
阅读全文 →
AI Model Atlas：用3D图谱可视化机器学习模型生态关系
·10 分钟
AI Model Atlas：用3D图谱可视化机器学习模型生态关系
AI Model Atlas项目通过3D交互式网络图谱，将海量机器学习模型的派生、微调、量化等血缘关系可视化呈现，帮助研究者和工程师直观理解AI模型生态的真实结构与演化趋势。
阅读全文 →
·9 分钟
自托管AI软件工厂：本地部署AI开发流水线实战指南
深入解析自托管AI软件工厂的概念、技术架构与落地实践。涵盖本地大模型部署、Agent工作流编排、数据隐私保障等核心要素，帮助开发团队构建自主可控的AI驱动开发流水线。
阅读全文 →
·16 分钟
Meta开源30B模型Muse Glimmer：一张显卡跑本地Agent的实战解析
Meta超级智能实验室开源Muse Glimmer 30B多模态Agent模型，采用4-bit量化、混合注意力和D-Flash投机解码三大技术，可在RTX 4090等消费级显卡上运行，Agent基准测试大幅领先同级模型。
阅读全文 →
·12 分钟
Gemma下载量破10亿：揭秘本地大模型的隐形普及真相
Google开源模型Gemma累计下载量突破10亿次，但这不等于10亿独立用户。本文深度解析下载量背后的嵌入式部署、CI/CD重复拉取等真实原因，以及Awesome Gemma仓库如何推动开源AI生态从热度走向实际价值。
阅读全文 →
·15 分钟
本地大模型的隐藏福利：冬天不用开暖气
本地部署大模型的GPU显卡发热量堪比电暖器，本文深入解析本地LLM玩家选择自建算力的动机、多卡堆叠的功耗现实、散热挑战，以及这个独特社区文化背后的技术趋势。
阅读全文 →
·13 分钟
用独立LLM清理Claude的token冗余输出：双模型管道架构实践
探讨如何用轻量级LLM作为后处理层，清理Claude等大模型的冗长输出。分析双模型管道架构的技术逻辑、成本权衡及组合式AI工程实践的启示。
阅读全文 →
·12 分钟
Qwen3 27B本地部署实测：单张3090跑出前沿级Agent能力
实测Qwen3 27B开源模型在单张RTX 3090上的表现，涵盖推理速度、Agent能力、多模态视觉及工具调用等维度，对比DeepSeek V-Flash等闭源模型，解析其性价比优势与本地部署方案。
阅读全文 →
·11 分钟
英伟达曝光SpaceX持仓成第六大股东，Codex解锁百万上下文窗口
英伟达首次披露持有SpaceX约1.228亿股成为第六大股东，Stripe超70亿美元收购OpenRouter，OpenAI Codex开放百万级上下文能力，美团Agent覆盖9万员工。本文汇总本周AI圈资本动作与技术突破。
阅读全文 →
·18 分钟
端侧钢琴续奏：125M小模型实现本地实时AI音乐自动补全
探索一个仅125M参数的端侧AI钢琴续奏模型，如何在本地设备上实现低延迟、可离线的音乐自动补全。深入分析小模型在垂直音乐生成任务中的技术路径与Edge AI的实践价值。
阅读全文 →
