#ONNX Runtime推理
共 3 篇相关文章
·8 分钟
自托管硬件升级指南：从旧NUC到游戏服务器的进阶之路
详解自托管硬件升级路径：分析NUC性能瓶颈，对比二手企业级Mini PC、自组ITX服务器等方案，为Jellyfin、Immich、Minecraft等服务提供精准的硬件选购建议。
阅读全文 →
·15 分钟
14倍提速：Manticore如何重构ONNX嵌入推理路径
Manticore Search团队通过重构ONNX推理路径，将文本嵌入计算速度提升14倍。本文深度解析批处理、会话复用、零拷贝内存优化与线程调优四大核心手段，为向量检索系统建设提供实践参考。
阅读全文 →
教程攻略·8 分钟
ONNX模型部署实战：从PyTorch导出到跨框架推理完整指南
详解ONNX神经网络交换格式的核心原理与实战应用。涵盖PyTorch和TensorFlow模型导出ONNX、ONNX Runtime推理、MNIST分类器部署、HuggingFace模型下载等完整流程，附可运行代码示例。
阅读全文 →