#本地推理
共 303 篇相关文章
科技前沿
GitHub趋势·08月17日：AI安全攻防与本地推理新玩法
·1 分钟
GitHub趋势·08月17日：AI安全攻防与本地推理新玩法
今日GitHub新上榜9个项目深度解读
阅读全文 →
·12 分钟
antirez出手：纯C打造DeepSeek 4本地推理引擎ds4
Redis之父antirez开源ds4项目，用纯C语言打造DeepSeek 4 Flash与PRO本地推理引擎，原生支持Metal、CUDA和ROCm三大GPU后端，GitHub斩获近2万Stars。本文深度解析ds4的技术选型、多后端架构与本地推理价值。
阅读全文 →
·6 分钟
苹果高管解读：Mac Mini为何成为AI开发者的本地推理首选
苹果芯片部门高管公开解析Mac Mini在AI开发者中需求激增的原因：统一内存架构突破显存瓶颈、优异能效比支持长时间本地部署，结合苹果端侧AI战略，Mac Mini正成为本地大模型推理的热门选择。
阅读全文 →
·14 分钟
4090跑Qwen3 27B为何这么慢？本地推理性能优化实战
RTX 4090运行Qwen3 27B模型推理耗时超400秒？本文深入分析显存溢出、CPU卸载拖累等核心原因，并提供量化选型、GPU层配置等针对性优化方案，帮你彻底解决本地大模型部署的性能瓶颈。
阅读全文 →
·15 分钟
284B大模型跑进MacBook：DeepSeek本地推理的真实突破与门槛
Redis之父用纯C引擎将284B参数DeepSeek模型压缩至76GB，在MacBook Pro上实现每秒26Token的本地推理。本文拆解MoE架构、非对称量化技术原理，直面硬件门槛与质量代价，厘清本地AI推理的真实边界。
阅读全文 →
教程攻略·8 分钟
DeepSeek V4 Flash MTP推测解码实测：本地推理提速20%指南
实测DeepSeek V4 Flash开启MTP推测解码后的性能表现：代码生成场景提速约20%，文本生成提升有限。详解内存开销、准确性差异、Q4与Q3量化对比，以及通过Inference应用和OpenAI兼容API的完整部署教程。
阅读全文 →
·5 分钟
WebBrain：免费开源的本地AI浏览器侧边栏助手
WebBrain是一款开源浏览器AI侧边栏助手，支持通过llama.cpp本地运行大语言模型，零成本、零隐私泄露。支持Chromium和Firefox浏览器，也可自带API密钥接入OpenAI、Claude等云端服务，实现本地与云端灵活切换。
阅读全文 →
·14 分钟
NobodyWho开源推理引擎：本地运行大模型的多平台SDK方案
NobodyWho是基于llama.cpp的开源端侧推理引擎，支持Swift、Kotlin、Flutter、React Native、Python和Godot多平台接入，提供工具调用、多模态、语音及GPU加速能力，让大语言模型完全在本地设备运行，无需API密钥。
阅读全文 →
·3 分钟
Mac mini M6芯片评测：AI性能提升4倍，双神经引擎加持
全新Mac mini搭载M6芯片，CPU性能提升40%，图形性能翻倍，AI算力提升4倍，存储速度翻倍。双神经引擎加持本地AI计算，紧凑机身实现全面性能飞跃，适合开发者与创意工作者。
阅读全文 →
·17 分钟
FastEmbed-rs：Rust本地向量嵌入生成与文档重排实战指南
深入介绍FastEmbed-rs这款Rust高性能嵌入生成库，涵盖本地向量嵌入生成、文档重排核心功能，适用于RAG系统、语义搜索等场景，帮助开发者摆脱云端API依赖，兼顾数据隐私与推理性能。
阅读全文 →
·14 分钟
屏幕记忆不靠截图：纯文本转Markdown的轻量方案
探索一种不依赖截图的屏幕记忆新方案：直接提取屏幕文本并保存为Markdown格式，在存储效率、隐私保护和AI检索能力上实现突破，为开发者和写作者提供更轻量的个人记忆工具选择。
阅读全文 →
·10 分钟
Unsloth Desktop完整评测：本地AI模型部署推理微调一站式解决方案
深度评测Unsloth Desktop桌面客户端，涵盖本地大模型部署、推理加速、模型微调、多模态生成、Agent对接等核心功能，对比Ollama和LM Studio的差异化优势，附国内用户模型下载解决方案。
阅读全文 →
·14 分钟
Cline实测：免费开源AI编程助手能否替代Copilot
详细实测Cline这款免费开源AI编程代理工具，包含安装配置教程、Gemini API接入指南、实战演示一句话构建待办应用，并客观对比Copilot和Cursor等付费工具的核心差异。
阅读全文 →
·12 分钟
NullOrigin开源工具：本地代理清除AI水印与溯源元数据详解
深入解析NullOrigin开源本地代理工具，了解它如何通过本地SLM改写摧毁文本统计水印、剥离C2PA/EXIF图片元数据、扫描Trojan Source代码漏洞，以及其本地优先架构的技术原理与伦理争议。
阅读全文 →
·13 分钟
JetBrains助力Qwen在Mac本地部署：开发者体验全面提升
JetBrains工具支持让Qwen大语言模型在Mac上本地部署更简单。本文解析本地LLM部署的隐私优势、成本考量，以及Apple Silicon芯片运行开源模型的工程化实践。
阅读全文 →
科技前沿
每日AI新鲜事·08月26日晚间版：GLM-5.3来袭与机器人破百米纪录
·1 分钟
每日AI新鲜事·08月26日晚间版：GLM-5.3来袭与机器人破百米纪录
2026年08月26日（周三）晚间版 AI新闻速递+热点深度讨论
阅读全文 →
·11 分钟
AI Agent开发全攻略：从核心原理到企业级实战落地
深入解析AI Agent开发的核心技术栈与实战路径，涵盖Agent工作原理、LangChain框架、MCP工具接入、多智能体协作等关键技术，附Vue项目自动创建实战案例与四阶段学习路线，助力程序员掌握智能体应用开发核心竞争力。
阅读全文 →
·10 分钟
用废旧硬件在家搭建本地AI推理平台完整指南
详解如何利用闲置废旧硬件搭建本地AI推理平台，涵盖硬件选型、显存需求、推理框架选择（llama.cpp/Ollama）、模型量化等关键环节，低成本实现隐私安全的本地大模型部署。
阅读全文 →
