#3B参数模型
共 139 篇相关文章
·7 分钟
CPU回归：重新思考LLM推理中的CPU-GPU协同分工
深入解析LLM推理的Prefill与Decode两阶段特性，探讨CPU在解码阶段的内存带宽优势，以及CPU-GPU异构混合推理架构如何降低成本、提升资源利用率。
阅读全文 →
·8 分钟
vLLM架构深度解析：PagedAttention如何实现高吞吐LLM推理
深入剖析vLLM高吞吐推理引擎的核心架构，详解PagedAttention分页机制、KV Cache内存管理、连续批处理调度策略，解读vLLM如何将显存利用率提升至96%以上并实现数倍吞吐量提升。
阅读全文 →
·12 分钟
Qwen3系列深度解析：开源大模型的多模态野心与未来展望
深度解析阿里巴巴通义千问Qwen3系列最新动态，探讨其在多模态视觉理解、中文能力、开源生态等方面的核心优势，以及对开发者和行业的深远影响。
阅读全文 →
·16 分钟
Homebench：本地大模型速度、内存与质量三维评测工具详解
Homebench是一款开源的本地大模型评测工具，从速度、内存占用和输出质量三个维度综合评估LLM在本地硬件上的真实表现，帮助开发者做出最优的模型选型和量化方案决策。
阅读全文 →
·18 分钟
本地部署AI模型入门：从Hugging Face下载到llama.cpp运行全流程
面向零基础开发者的本地AI模型部署指南，涵盖从Hugging Face安全下载模型、运行推理、导出GGUF格式并通过llama.cpp高性能本地运行的完整流程，附开源Python脚本实践。
阅读全文 →
·8 分钟
Unsloth支持AMD GPU：500+模型训练加速2倍、显存省70%
Unsloth正式支持AMD GPU平台，覆盖RDNA 3-4、Strix Halo及MI300等全线硬件，在500+模型上实现2倍训练加速和70%显存节省，支持强化学习、vLLM权重共享，兼容Windows/Linux/WSL三大系统。
阅读全文 →
·15 分钟
Laguna S 2.1性能升级：速率限制提升10倍，日处理量达250B Token
Poolside宣布Laguna S 2.1重大服务升级，速率限制提升10倍，OpenRouter日处理量达2500亿Token。支持1M上下文窗口专用部署，已集成cline、opencode等主流AI编程Agent工具，适用于高并发自主工作流场景。
阅读全文 →
·15 分钟
Mistral Shieldstral：3B参数开源多模态内容审核模型详解
Mistral发布Shieldstral开源多模态内容审核模型，仅30亿参数即可实现文本与图像安全检测。本文详解其核心特性、应用场景及与Llama Guard等竞品的对比，助力开发者构建低成本AI安全护栏。
阅读全文 →
·16 分钟
Quantprobe：6GB显卡跑30B大模型的开源利器
Quantprobe是一个开源内存分配优化框架，通过逐层量化布局和智能CPU/GPU拆分，让6GB显存的老显卡以22 tokens/s速度运行30B参数大模型，大幅降低本地LLM部署的硬件门槛。
阅读全文 →
·12 分钟
Zen Whisper：隐私优先的Mac本地语音输入工具评测
Zen Whisper是一款完全本地化的Mac语音输入工具，基于Whisper模型实现离线语音转文字，音频数据不离开设备。支持随处输入、语音备忘、媒体转录等功能，适合重视隐私的Mac用户。
阅读全文 →
·16 分钟
Mac仅需4.3GB内存运行80B大模型：极限压缩技术解析
深入解析如何在Mac上仅用4.3GB内存运行80B参数大模型的技术原理，涵盖超低比特量化、稀疏化、内存映射等关键技术，探讨本地大模型部署对隐私保护和边缘AI的深远意义。
阅读全文 →
·16 分钟
AI产品发布如何点燃开发者社区情绪：从狂欢到理性评估
深度分析AI产品发布如何引爆开发者社区情绪，解读Reddit、Discord等平台的集体兴奋背后的行业趋势，以及开发者如何从情绪化反应转向理性技术评估的完整框架。
阅读全文 →
·13 分钟
Token经济学：AI时代的价值新度量单位
深入解析Token如何从大语言模型的技术概念演变为AI经济的核心计量单位。探讨AI Agent时代Token消耗爆炸、成本优化策略及Token经济学对开发者和投资人的深层影响。
阅读全文 →
·12 分钟
Tomte：专为Gemma打造的免费本地AI运行框架
Tomte是一款专为Apple Silicon优化的Gemma模型本地运行框架，免费开箱即用，提供高速推理体验。本文详解其核心功能、性能优势及与ChatGPT的对比，帮助Mac用户实现隐私安全的本地AI部署。
阅读全文 →
·13 分钟
Vao2开源信息聚合器：本地AI摘要+多源RSS整合的隐私优先方案
Vao2是一款开源个人信息聚合器，整合新闻、YouTube、GitHub和RSS订阅到单一信息流，通过Ollama本地AI生成内容摘要，兼顾隐私保护与零成本使用，适合重视数据主权的技术用户。
阅读全文 →
·12 分钟
本地部署LLM打造交易机器人：硬件选型与模型推荐
详解如何用AMD RX 7800 XT 16GB显存本地部署大语言模型驱动量化交易机器人，涵盖ROCm生态现状、7B-14B模型推荐（Qwen2.5、Llama 3.1）、Ollama/LM Studio部署方案及系统架构设计。
阅读全文 →
·14 分钟
本地AI Agent架构实战：从零散脚本到个人Jarvis
详解如何将散落的自动化脚本整合为本地AI Agent智能中枢。涵盖Function Calling核心机制、Ollama+Qwen2.5本地部署方案、工具编排架构设计及完整落地路线图，适合独立开发者和小团队。
阅读全文 →
·15 分钟
持久化状态机：INT4内存单元如何重构LLM注意力机制
深入解析持久化状态机与INT4量化内存单元结合重构LLM注意力机制的技术方案，探讨如何突破KV Cache内存瓶颈，实现固定内存下的长上下文推理，覆盖边缘部署、高并发推理等应用场景。
阅读全文 →
·11 分钟
双卡3060跑DeepSeek V4 Flash：IQ2_M量化推理实测3.5tok/s
实测双卡RTX 3060加96GB内存运行DeepSeek V4 Flash，IQ2_M量化精度下推理速度达3.5 tokens/秒。详解硬件配置选择、2-bit量化技术原理、实际使用体验及本地大模型部署优化方向。
阅读全文 →
·17 分钟
自建多功能服务器配置指南：流媒体+AI推理+应用托管一机搞定
详解如何用500美元预算搭建多功能家用服务器，涵盖Jellyfin流媒体、Ollama本地AI推理、Web应用托管和Pi-hole广告拦截的硬件选型、双RTX 3060显卡方案及内网穿透部署建议。
阅读全文 →