#边缘推理
共 39 篇相关文章
·7 分钟
ncnn Vulkan跨平台边缘推理实战：解决GPU碎片化部署难题
面对边缘设备GPU碎片化难题，PostSlate团队选择ncnn的Vulkan后端实现跨平台ML推理。实测在RTX 4070上获得10倍加速，模型体积减半，且无需用户额外安装运行时，完美解决NVIDIA、AMD、Intel及Apple Silicon的统一部署问题。
阅读全文 →
·8 分钟
RTX 3050能跑机器学习吗？6GB显存够用吗
详细分析RTX 3050 6GB显卡搭配Intel Core Ultra 5 210H处理器能否满足机器学习入门需求，评估显存限制、适用场景及云端资源补充方案，帮助初学者理性选择硬件配置。
阅读全文 →
·12 分钟
模拟存内计算：Mythic如何用物理定律突破AI芯片能效瓶颈
深入解析Mythic模拟存内计算架构的工作原理，探讨如何利用欧姆定律和基尔霍夫定律在闪存阵列中直接完成矩阵乘法，实现边缘AI推理的数量级能效提升，以及该技术面临的精度、转换开销等现实挑战。
阅读全文 →
·11 分钟
PawVis：用Mac摄像头手势操控电脑的开源工具
PawVis是一款免费开源的Mac手势控制工具，通过内置摄像头实时追踪手部动作来操控光标、点击和滚动，100%本地运行保护隐私，还支持语音控制和AI Agent对接。
阅读全文 →
·8 分钟
连英伟达也下场：AI开源竞赛进入全栈争夺时代
英伟达从AI芯片供应商转型全栈玩家，积极参与开源模型竞赛。本文深度解析英伟达下场背后的生态绑定策略、行业竞争白热化趋势，以及对AI开源生态和竞争格局的深远影响。
阅读全文 →
·15 分钟
Qwen3 27B+DeepSeek Harness实测：本地开源智能体性能评测
详细实测Qwen3 27B模型搭配DeepSeek Harness智能体框架的部署方案、视觉理解能力、推理强度对比及token消耗数据，涵盖边界框绘制、车辆计数等多模态任务表现。
阅读全文 →
·12 分钟
YOLO26n-Depth边缘部署实测：RK3576仅3-4 FPS的优化挑战
开发者将YOLO26n-Depth模型部署到RK3576平台实测仅3-4 FPS，本文深入分析性能瓶颈原因，对比Jetson、RK3588等平台表现，并提供INT8量化、C++部署、算子优化等实用加速方案。
阅读全文 →
·11 分钟
谷歌降价50% OpenAI提速14倍：AI推理成本战全面开打
谷歌Gemini 3.7 Flash价格腰斩至0.75美元/百万Token，OpenAI GPT-5.6 Sol Ultra Fast实现每秒750 Token输出。AI推理市场从能力比拼转向成本、速度三线竞争，开发者调用门槛快速下移。
阅读全文 →
·9 分钟
用Rust打造媲美Llama.cpp的LLM推理引擎
探讨用纯Rust构建性能匹敌Llama.cpp的LLM推理引擎的技术路径，分析Rust在内存安全、SIMD优化、GPU后端支持等方面的优势与挑战，展望本地化大模型推理的未来。
阅读全文 →
·6 分钟
语音Agent延迟优化：为什么平均值骗了你
深度解析语音AI Agent延迟优化的三大陷阱：平均值掩盖尾部延迟、流水线抖动叠加、区域延迟差异。提供P95/P99测量、端到端一致性优化等实战建议，帮助开发者打造真正低延迟的语音交互体验。
阅读全文 →
·15 分钟
AMD收购Taalas：将AI模型刻进芯片意味着什么
AMD收购芯片初创公司Taalas，将AI模型直接固化到硅片电路中，实现极致推理能效。本文解析这一技术路线的原理、代价与行业影响，探讨AMD在AI推理赛道的差异化布局。
阅读全文 →
·14 分钟
RosaicLabs与Atom RTL揭示x86生态隐秘变局
深度解析RosaicLabs、Intel Atom核心RTL授权与32-Tile AMX扩展背后的技术逻辑，探讨x86架构在AI时代面临的开放化、定制化转型趋势及其对芯片行业竞争格局的深远影响。
阅读全文 →
·6 分钟
Google豪掷10亿美元与Verizon签暗光纤大单：AI基础设施竞争进入纵深
Google与Verizon签署超10亿美元暗光纤协议，连接多个数据中心以满足AI训练和推理的互联需求。Verizon同步推出AI Connect业务，将中心局改造为边缘算力节点，电信运营商加速AI化转型。
阅读全文 →
·11 分钟
Colibri：让7440亿参数大模型跑在普通笔记本上
Colibri开源项目通过MoE冷热分离架构和4-bit量化，实现在消费级硬件上运行GLM 5.2等千亿参数大模型。本文详解其三级内存架构、专家按需加载和投机解码等核心技术原理。
阅读全文 →
·16 分钟
DIY陪伴机器人：用Jetson Orin打造你的AI桌面伙伴
一位创客用NVIDIA Jetson Orin和4S LiPo电池DIY陪伴机器人，从通电成功到AI交互的完整开发历程。了解Jetson Orin边缘计算在机器人项目中的技术选型、供电设计与陪伴机器人的发展趋势。
阅读全文 →
·14 分钟
本地离线RAG应用实战：用Ollama+ChromaDB构建PDF私密问答系统
手把手拆解本地离线RAG应用的完整构建思路：基于Ollama、ChromaDB与Flask，实现PDF文档分块、向量化检索与受控生成，全程无需云端API，敏感文档零泄露风险。适合想入门RAG或重视数据隐私的开发者。
阅读全文 →
·6 分钟
SentinelCV：用现有摄像头实现AI跌倒检测的开源方案
SentinelCV是一款基于YOLOv8的开源跌倒检测系统，无需专用硬件，支持CCTV、IP摄像头和Webcam接入，可实时识别跌倒行为并通过Telegram推送告警。适用于养老机构、独居老人和工厂安防场景。
阅读全文 →
·17 分钟
简历投了几百份没回音？技术求职困境深度解析与破局策略
软件工程师海投简历却石沉大海？本文深度解析当前技术求职市场的核心痛点：ATS筛选机制、广撒网策略失效、内推渠道被忽视，并提供明确定位、精投内推、作品集打造等实用破局建议，帮助技术求职者走出困境。
阅读全文 →
