#30B模型
共 137 篇相关文章
·15 分钟
Nemotron 2-bit量化30B模型持续工具调用10分钟意味着什么
NVIDIA Nemotron 3.5 Lightning模型在极限2-bit量化后仍能持续运行工具调用超10分钟，展现了低比特量化模型在Agent任务中的惊人鲁棒性。本文拆解2-bit量化技术难点、工具调用的严苛要求及这一突破对本地部署的现实意义。
阅读全文 →
·16 分钟
Meta开源30B模型Muse Glimmer：一张显卡跑本地Agent的实战解析
Meta超级智能实验室开源Muse Glimmer 30B多模态Agent模型，采用4-bit量化、混合注意力和D-Flash投机解码三大技术，可在RTX 4090等消费级显卡上运行，Agent基准测试大幅领先同级模型。
阅读全文 →
·15 分钟
Meta开源Muse-Glimmer-30B模型：Agent能力全面对标Qwen，本地部署指南
Meta开源Muse-Glimmer-30B稠密模型，专为Agent场景设计，支持工具调用与多模态理解。采用Apache协议，部分指标超越Qwen-3 27B，本文详解其性能表现、硬件需求与部署方案。
阅读全文 →
·14 分钟
小米静默发布MiMo-V2.5-DFlash：300B模型推理速度或将翻倍
小米悄然在Hugging Face上传MiMo-V2.5-DFlash权重，附带独立MTP模型，有望解决llama.cpp兼容问题，让300B超大模型本地推理速度翻倍。社区正期待GGUF量化转换。
阅读全文 →
·8 分钟
Ornith 1.5 35B实测：Q4与Q8量化对比，哪个更值得跑？
深度实测Ornith 1.5 35B-A3B模型的Q4KM与Q8量化版本，通过浏览器OS、FPS游戏、3D建模等多项任务对比两者在本地运行时的真实表现差异，为消费级硬件用户提供选择参考。
阅读全文 →
·14 分钟
工作还是读博？AI研究者的职业路径抉择
AI领域年轻研究者面临工业界工作与攻读博士的两难选择。本文从工业研究经历对申博的影响、博士学位对Research Scientist岗位的实际价值等角度，提供理性决策框架。
阅读全文 →
·17 分钟
通义千问3-27B本地部署：满血vs量化的显存与成本博弈
深度对比Qwen3-27B从1Bit到8Bit各量化档位的显存需求、推理速度与部署成本，帮你找到精度与预算的最佳平衡点。单卡4090跑4Bit每秒49字，本地部署成本仅为云端API的五十分之一。
阅读全文 →
·14 分钟
DiffusionGemma解析：扩散模型如何让LLM快5倍
深度解析谷歌DeepMind发布的DiffusionGemma扩散语言模型，揭示其如何通过并行去噪机制实现每秒1500 token的生成速度，比自回归模型快5倍，同时保持质量不降。涵盖训练路线、自适应停步机制及开源应用。
阅读全文 →
·16 分钟
FreeToken：753B大模型塞进单卡的本地部署硬件账该怎么算
加州大学伯克利分校开源FreeToken推理系统，利用MoE架构稀疏性实现753B参数模型单卡运行。本文解析其分层调度原理、三档硬件实测结果及关键性能限制，帮助本地部署从业者重新评估硬件需求。
阅读全文 →
·17 分钟
Gotcha：全球首个安卓端AI语音副驾，开源免费端侧运行
Gotcha是全球首个安卓端AI语音副驾开源项目，支持端侧运行保护隐私，内置100+原生设备工具，通过Samosa AIR引擎实现语音指令到设备操作的完整闭环，免费开源可定制扩展。
阅读全文 →
·10 分钟
用废旧硬件在家搭建本地AI推理平台完整指南
详解如何利用闲置废旧硬件搭建本地AI推理平台，涵盖硬件选型、显存需求、推理框架选择（llama.cpp/Ollama）、模型量化等关键环节，低成本实现隐私安全的本地大模型部署。
阅读全文 →
·15 分钟
Cursor变慢怎么办？AI编程工具性能波动原因与解决方案
Cursor用户反馈响应速度骤降3到5倍，本文深入分析AI编程工具性能波动的技术原因，包括云端算力排队、上下文长度影响等，并提供缩小上下文、切换模型等实用解决方案。
阅读全文 →
·8 分钟
Qwen模型登顶HuggingFace热度榜前四背后的深层逻辑
Qwen系列模型跻身HuggingFace历史点赞榜前四，引发Reddit热议。本文深入分析Qwen快速积累人气的原因，包括开源策略、性能与实用性平衡，以及这一现象对全球开源大模型竞争格局的影响。
阅读全文 →
·7 分钟
本地Ollama小模型全自动逆向3Dmigoto Mod实战教程
详解如何使用本地部署的Ollama小模型实现3Dmigoto Mod全自动逆向，涵盖接入配置、硬件选型、实操演示及注意事项，零成本批量处理Mod的完整方案。
阅读全文 →
·15 分钟
本地AI Agent部署太慢？轻量级优化实战指南
本地部署AI Agent速度慢、频繁超时？本文从Agent框架隐藏开销、硬件瓶颈出发，提供精简配置、轻量工具选择、模型量化等针对性优化方案，并介绍通过Telegram Bot远程交互的实用技巧。
阅读全文 →
·14 分钟
自托管LLM技术栈：从终端统一管理本地AI集群的完整指南
深入解析如何自托管LLM技术栈，涵盖推理引擎选型、模型管理、向量数据库配置等核心组件，探讨从终端统一管理本地AI集群的实践方案、硬件要求与技术挑战。
阅读全文 →
·15 分钟
微调Qwen3-4B实录：100条数据解决角色混乱问题
分享Qwen3-4B模型微调实践全过程，通过补充100-200条身份稳定数据，成功解决角色混乱问题。详解小模型微调中的数据策略、效果验证方法及MoE架构进阶规划。
阅读全文 →
·12 分钟
Unsloth Dynamic v3发布：同尺寸精度提升10%，1-bit量化仅需6GB
Unsloth发布Dynamic v3量化方案，Qwen3.8-27B GGUF模型在同体积下实现10% top-1%精度提升，并推出6-8GB的1-bit极限量化版本。新增Divergence-300长序列评测指标，更真实反映量化质量。
阅读全文 →
