#大语言模型推理
共 152 篇相关文章
·15 分钟
开源模型混战：英伟达、Meta、阿里同周发布，谁是赢家？
英伟达Nemotron 3.5 Lightning、Meta Muse Glimmer、阿里千问3.8三款开源大模型同周发布。本文对比三者在速度、智能指数、本地部署等维度的表现，帮你选出最适合本地Agent的模型。
阅读全文 →
·9 分钟
Muse Glimmer本地实测：Meta开源30B多模态模型单卡可跑
Meta发布开源多模态模型Muse Glimmer，30B参数支持24GB显存单卡运行，Apache 2.0许可证。实测RTX 5090推测解码达233 tokens/秒，支持128K上下文、图像理解与前端代码生成，附带GGUF格式开箱即用。
阅读全文 →
·18 分钟
Gemma 4:31b 实测：Ollama 本地部署稳定性大幅提升
Reddit 用户实测反馈 Gemma 4:31b 在 Ollama 上的最新表现：工具调用不再频繁失败，乱码输出问题消失。深入分析本地大模型稳定性提升的技术原因与实际意义。
阅读全文 →
·13 分钟
Stoa Markets：GPU与AI服务器交易市场如何解决算力供需难题
深度解析YC孵化的Stoa Markets如何搭建GPU与AI服务器交易市场，解决算力供需碎片化、价格不透明等核心痛点，分析其商业模式、行业定位及面临的挑战。
阅读全文 →
·16 分钟
Agent DevTools：专为AI Agent设计的本地调试器
Agent DevTools是一款开源本地调试器，支持检查AI Agent的提示词、记忆、检索和工具调用状态，提供好坏运行对比功能，帮助开发者告别print()调试，快速定位Agent行为异常的根因。
阅读全文 →
·18 分钟
谷歌开源Agent Skills：AI智能体官方技能库深度解析
深度解析谷歌开源项目google/skills，了解这个GitHub星标超16000的AI Agent技能库如何为智能体提供标准化能力模块，助力开发者快速接入Google生态。
阅读全文 →
·12 分钟
软件优化让单张B200媲美专用推理芯片
深入分析英伟达单张B200 GPU如何仅凭软件优化超越Groq LPU并逼近Cerebras性能，探讨CUDA内核优化、TensorRT-LLM推理引擎调优、FP8量化等关键技术，以及这对AI推理芯片格局的深远影响。
阅读全文 →
·18 分钟
本地部署AI模型入门：从Hugging Face下载到llama.cpp运行全流程
面向零基础开发者的本地AI模型部署指南，涵盖从Hugging Face安全下载模型、运行推理、导出GGUF格式并通过llama.cpp高性能本地运行的完整流程，附开源Python脚本实践。
阅读全文 →
·12 分钟
Vibe Buddy：让AI编程状态可见的桌面硬件伙伴
Vibe Buddy是一款桌面机器人硬件，实时显示Codex和Claude Code的运行状态与使用额度，帮助开发者无需切换窗口即可感知AI任务进度，解决AI编程工作流中的上下文切换痛点。
阅读全文 →
·17 分钟
LiveKit Agents：构建实时语音AI智能体的开源框架详解
深入解析LiveKit Agents开源框架，了解如何利用STT、LLM、TTS模块构建实时语音AI智能体。涵盖核心架构、多模型插件生态、生产部署能力及智能客服、虚拟助理等应用场景。
阅读全文 →
·13 分钟
yapyap：本地优先的开源会议录制与转录工具
yapyap 是一款本地优先的开源语音会议录制工具，支持录音、转录、说话人识别和AI摘要生成，全部在本地运行，无需上传云端，无需订阅付费，真正实现数据自主可控。
阅读全文 →
·14 分钟
从零到AI工程师：一份学生简历的真实成长路径
一位计算机专业学生用3-4个月从Python基础走到模型部署，通过三个实战项目建立AI能力组合。本文拆解其学习路径、项目含金量与简历优化策略，为AI初学者提供可复制的成长参考。
阅读全文 →
·12 分钟
Tomte：专为Gemma打造的免费本地AI运行框架
Tomte是一款专为Apple Silicon优化的Gemma模型本地运行框架，免费开箱即用，提供高速推理体验。本文详解其核心功能、性能优势及与ChatGPT的对比，帮助Mac用户实现隐私安全的本地AI部署。
阅读全文 →
·14 分钟
ARYA：从零打造能操控真实应用的语音AI助手
开发者打造的语音AI助手ARYA，能操控WhatsApp、Spotify等真实应用，具备向量记忆功能。深入解析其技术实现路径、AI Agent趋势及个人开发者构建智能体的机遇与挑战。
阅读全文 →
·16 分钟
Aura：100%本地运行的macOS持久化AI智能体系统深度解析
深度解析Aura开源项目：一款专为Apple Silicon设计、完全本地运行的持久化AI智能体系统，具备非谄媚推理、主动推理、完整macOS控制等特性，探讨其在隐私保护与AI自主性方面的创新价值。
阅读全文 →
·12 分钟
Ollama+Qwen-Agent打造本地私人AI助手：从部署到安全实战指南
详解如何用Ollama本地部署大模型，结合Qwen-Agent构建私人AI助手。涵盖RAG知识接入、语音交互、权限隔离等核心技术，提供完整实现路线图，兼顾能力与安全的本地AI Agent架构设计。
阅读全文 →
·15 分钟
Codex慢速模式设想：用Flex API翻倍编程额度
开发者提议为Codex引入基于Flex API的慢速模式，以牺牲响应速度换取近乎翻倍的使用额度。本文分析这一分层策略的产品逻辑、技术可行性与商业挑战，探讨AI编程工具如何降低成本门槛。
阅读全文 →
·7 分钟
系统提示词泄露事件解析：AI透明度与安全性的博弈
从Claude Opus 5系统提示词疑似泄露事件出发，深入分析系统提示词的作用、常见提取手段、透明度与安全性的两难困境，以及对开发者和用户的实用启示。
阅读全文 →
