#GPTQ
共 302 篇相关文章
·7 分钟
Skim Recap：浏览器本地AI阅读助手，帮你补回略读遗漏
Skim Recap 是一款基于本地AI的Chrome扩展阅读工具，通过WebGPU和Gemma模型在浏览器端运行，自动识别你略读跳过的段落并补回关键内容，还能结合上下文用费曼式方法解释生词术语，全程数据不出本地，保护阅读隐私。
阅读全文 →
·9 分钟
Ollama、LM Studio、Chatbox该装哪个？一文说清
详解Ollama、LM Studio、Chatbox三款本地大模型工具的定位与区别。Ollama是后台推理服务，LM Studio是图形化一体方案，Chatbox是聊天客户端。按需求对号入座，避免盲目安装。
阅读全文 →
·8 分钟
Ollama本地部署AI大模型完整指南：安装配置与性能调优
详细讲解Ollama本地部署大模型的完整流程，包括安装配置、模型下载管理、上下文长度调优实测，以及接入DeepSeek Harness等智能体工具的方法，帮助新手零成本运行本地AI大模型。
阅读全文 →
·14 分钟
自托管LLM技术栈：从终端统一管理本地AI集群的完整指南
深入解析如何自托管LLM技术栈，涵盖推理引擎选型、模型管理、向量数据库配置等核心组件，探讨从终端统一管理本地AI集群的实践方案、硬件要求与技术挑战。
阅读全文 →
·14 分钟
Quick RSS：隐私优先的桌面RSS阅读器，告别算法推荐
Quick RSS是一款主打隐私保护的桌面端RSS阅读器，数据本地存储，无需云端同步。简单直观的设计帮助用户摆脱算法推荐，自主掌控信息订阅源，重建干净可控的深度阅读环境。
阅读全文 →
·15 分钟
Nemotron 2-bit量化30B模型持续工具调用10分钟意味着什么
NVIDIA Nemotron 3.5 Lightning模型在极限2-bit量化后仍能持续运行工具调用超10分钟，展现了低比特量化模型在Agent任务中的惊人鲁棒性。本文拆解2-bit量化技术难点、工具调用的严苛要求及这一突破对本地部署的现实意义。
阅读全文 →
·12 分钟
Unsloth Dynamic v3发布：同尺寸精度提升10%，1-bit量化仅需6GB
Unsloth发布Dynamic v3量化方案，Qwen3.8-27B GGUF模型在同体积下实现10% top-1%精度提升，并推出6-8GB的1-bit极限量化版本。新增Divergence-300长序列评测指标，更真实反映量化质量。
阅读全文 →
·10 分钟
为什么你的本地大模型感觉比实际"笨"？
本地部署LLM总感觉比在线版本笨？本文从量化损失、上下文截断、采样参数、Prompt模板四个维度分析原因，并提供详细的优化排查清单，帮你让本地大模型发挥真实水平。
阅读全文 →
·15 分钟
Unsloth量化实测：NVFP4提速1.5倍，动态GGUF压缩83.5%体积
Unsloth基于改进版Dynamic算法为Qwen3.8-27B推出NVFP4和动态GGUF两种量化方案。NVFP4实现1.5倍推理加速且保留92%-97%准确率，动态GGUF将54.7GB模型压缩至9GB。深入解析量化策略、适用场景与部署选择。
阅读全文 →
·10 分钟
1-bit量化突破：27B大模型跑进8GB内存
深入解析1-bit量化技术如何将27B参数的Qwen3大模型压缩至8GB内存运行，保留77%准确率。探讨极致量化的技术原理、实际应用价值及对开源AI生态的深远影响。
阅读全文 →
·12 分钟
Opus 5发布：Token效率与智能双升级，编程体验更优
Anthropic发布Opus 5模型，核心亮点是跨领域Token效率显著提升，同时智能水平再创新高。在编程任务中表现出色，响应更快、成本更低，标志着大模型竞争进入效率优化新阶段。
阅读全文 →
·13 分钟
Qwen3.8-27B成史上最火开源模型：断层式领先DeepSeek-R1
Qwen3.8-27B成为Unsloth社区使用量最高的开源模型，远超DeepSeek-R1和Qwen3.6-35B-A3B。27B参数量化后可在消费级显卡本地部署，成为开发者首选基座模型。深度解析其爆火原因与开源生态趋势。
阅读全文 →
·8 分钟
Amiga 500跑AI编程助手：1987年古董硬件如何接入现代AI
开发者在1987年的Commodore Amiga 500（7MHz CPU、1MB内存）上成功运行AI编程助手。本文解析客户端-服务端分离架构如何让古董硬件接入大语言模型，探讨AI能力服务化与终端轻量化趋势。
阅读全文 →
·19 分钟
KerasFormers：纯Keras 3跨框架预训练Transformer模型库详解
KerasFormers是基于Keras 3多后端架构的预训练Transformer模型库，支持JAX、PyTorch和TensorFlow三大框架无缝切换。本文详解其技术原理、开发者价值及与Hugging Face的差异化定位。
阅读全文 →
·9 分钟
ONNX Runtime详解：跨平台AI推理与训练加速引擎
深入解析ONNX Runtime的核心架构与应用场景，涵盖执行提供者机制、训练加速能力、边缘部署及大模型推理优化，帮助开发者掌握这一跨平台机器学习推理加速引擎。
阅读全文 →
·12 分钟
Qwen 3.8 27B发布：本地部署最强稠密开源模型解析
阿里通义千问Qwen 3.8 27B以开放权重形式发布，被誉为目前最好的本地部署稠密模型。本文解析其技术定位、27B参数量优势、开放权重的战略意义及社区评价。
阅读全文 →
·7 分钟
Magnitude：模型全留本机的隐私优先代码助手
Magnitude是一款将模型推理和Agent执行全部留在本机的私有代码助手，支持硬件感知自动配置、文件修改、命令执行等完整Agent能力，专为代码敏感、重视隐私的开发者设计。
阅读全文 →
AI Model Atlas：用3D图谱可视化机器学习模型生态关系
·10 分钟
AI Model Atlas：用3D图谱可视化机器学习模型生态关系
AI Model Atlas项目通过3D交互式网络图谱，将海量机器学习模型的派生、微调、量化等血缘关系可视化呈现，帮助研究者和工程师直观理解AI模型生态的真实结构与演化趋势。
阅读全文 →
