#推理引擎
共 522 篇相关文章
·9 分钟
用Rust打造媲美Llama.cpp的LLM推理引擎
探讨用纯Rust构建性能匹敌Llama.cpp的LLM推理引擎的技术路径，分析Rust在内存安全、SIMD优化、GPU后端支持等方面的优势与挑战，展望本地化大模型推理的未来。
阅读全文 →
·7 分钟
自研C/C++推理引擎：性能、可控性与工程成本的深度权衡
深入分析为何团队选择自研C/C++推理引擎而非使用PyTorch、TensorRT等通用框架，从性能优化、依赖最小化、部署简化等维度探讨自研的技术动因、适用场景与长期维护成本。
阅读全文 →
·12 分钟
antirez出手：纯C打造DeepSeek 4本地推理引擎ds4
Redis之父antirez开源ds4项目，用纯C语言打造DeepSeek 4 Flash与PRO本地推理引擎，原生支持Metal、CUDA和ROCm三大GPU后端，GitHub斩获近2万Stars。本文深度解析ds4的技术选型、多后端架构与本地推理价值。
阅读全文 →
·9 分钟
ARM64汇编从零实现YOLO26推理引擎：底层优化全解析
深入解析用ARM64汇编和C语言从零实现YOLO26n目标检测推理引擎的全过程，涵盖NEON SIMD优化、Winograd卷积、GEMM微内核、缓存分块等边缘设备AI推理核心优化技术。
阅读全文 →
·15 分钟
生产级LLM部署指南：模型选型、GPU配置与推理引擎全解析
深度解析大语言模型生产部署的完整决策框架：从开源与闭源模型选型、GPU显存配置，到vLLM等主流推理引擎对比，帮助工程团队构建高效、可扩展的LLM推理服务。
阅读全文 →
·10 分钟
LangChain核心特点与六大应用场景面试全解析
深度解析LangChain框架的四大核心特点（统一模型接口、模块化架构、智能体工具调用、记忆管理）与六大应用场景（RAG、Agent、对话系统等），助你在大模型开发面试中从容应答。
阅读全文 →
·15 分钟
SubtitleYC：开源硬字幕提取工具，集成OCR识别与编辑
SubtitleYC是一款开源硬字幕提取工具，整合yt-dlp视频下载、PaddleOCR字幕识别、帧级预览与SRT编辑导出功能，支持GPU加速，为视频翻译者和字幕组提供一站式工作流。
阅读全文 →
·13 分钟
OpenAI员工透露ChatGPT速度优化路线图
OpenAI员工在Reddit分享ChatGPT速度改进方向，涵盖推理优化、模型蒸馏、基础设施扩容等技术路径，解析响应延迟问题及未来优化趋势。
阅读全文 →
·11 分钟
Yadda 3.0：AI智能体时代的BDD测试新范式
深入解析Yadda 3.0如何将BDD行为驱动开发与AI Agent结合，探讨自然语言测试规范作为人机协作验收契约的实践思路，以及BDD在AI辅助编程时代的新价值。
阅读全文 →
·14 分钟
Cursor 入门指南：AI 原生编程工具核心功能与使用场景全解析
深入解析 Cursor 这款 AI 原生编程工具的核心特性，包括智能代码生成、上下文感知、多模型支持等功能，对比传统 IDE 的关键差异，帮助从零基础到资深开发者快速上手 AI 编程。
阅读全文 →
·17 分钟
Mole：运行在终端的开源深度研究智能体
Mole 是一款运行在终端的开源深度研究智能体，支持多轮检索、信息交叉验证与结构化报告生成。本文解析其核心功能、终端AI工具趋势及实际使用中的关键考量。
阅读全文 →
·11 分钟
Codex Linux桌面版实测：比CLI更适合初学者的AI编程助手
实测OpenAI Codex Linux桌面版，对比CLI体验优势：图形化界面降低学习门槛，无缝继承会话配置，支持本地模型接入与定时任务。详解安装方法、插件管理及本地模型性能表现。
阅读全文 →
·6 分钟
Gemini 3.5 Flash Cyber：谷歌专为漏洞检测与修复打造的AI安全模型
谷歌发布Gemini 3.5 Flash Cyber轻量级AI模型，专注自动发现与修补软件漏洞。本文深度解析其产品定位、技术优势、检测修复闭环能力及行业竞争格局。
阅读全文 →
·13 分钟
AI Agent内部构造解析：智能体如何思考决策与行动
深入剖析AI Agent的内部构造与工作原理，从感知-推理-行动闭环、工具调用、上下文管理到错误处理，揭示智能体的真实运作机制与工程挑战，帮助开发者理解Agent的能力边界。
阅读全文 →
科技前沿
每日AI新鲜事·08月16日午间版：ChatGPT市场份额下滑与AI工作记忆优势
·1 分钟
每日AI新鲜事·08月16日午间版：ChatGPT市场份额下滑与AI工作记忆优势
2026年08月16日（周日）午间版 AI新闻速递+热点深度讨论
阅读全文 →
·13 分钟
Modly：本地GPU运行的开源图像转3D建模工具
Modly是一款开源桌面应用，支持本地GPU运行AI模型，将图像自动生成3D模型。无需云端API，数据隐私有保障，适合游戏开发者、3D打印爱好者和产品设计师使用。
阅读全文 →
·17 分钟
Muse-Glimmer-30B实测：24G显存跑出九维跑分76分的性价比之王
深度实测Meta开源Muse-Glimmer-30B模型，九大维度403道题综合均分76.04，工具调用90+分碾压同级。4bit量化几乎无损，24G显存轻松驱动，D-Flash加速3.1倍达233tokens/秒，是本地部署玩家的高性价比首选。
阅读全文 →
·6 分钟
扣子Coze入门教程：一文搞懂智能体与工作流的关系
零基础学习扣子Coze智能体开发，用装修房子的比喻通俗讲解Agent和Workflow概念，并手把手演示如何在Coze平台创建第一个智能体和工作流。
阅读全文 →
·9 分钟
实测Meta开源Muse Glimmer：偏科的Agent专用模型
实测Meta开源30B模型Muse Glimmer，覆盖视觉识别、逻辑推理、全栈应用等场景。视觉能力出色但逻辑薄弱，D-Spark加速提速3倍却牺牲质量，128K上下文成最大硬伤。详细部署方案与横评数据。
阅读全文 →
·11 分钟
AI大厂降价混战：Gemini、Grok、DeepSeek同日发力，开发者红利期来临
Google Gemini 3.7 Flash价格砍半，xAI Grok 4.6低价高分绑定Cursor，OpenAI推出14倍急速模式，DeepSeek开源智能体框架Harness。一文拆解大模型价格战背后的技术逻辑与开发者选型策略。
阅读全文 →