#模型部署
共 41 篇相关文章

推理工程实战指南:开放资源与核心洞察
基于Hacker News开放指南,系统梳理推理工程的核心维度:延迟与吞吐权衡、内存管理与量化、硬件选型与服务框架,并提供可操作的实践步骤与社区资源利用建议。

Particle:让开源模型更省Token、更省钱的新玩家
Particle 是一家专注优化开源权重模型的新公司,目标是让模型服务更省 Token、更具成本效率。本文解析其定位、Token 效率优化的价值,以及与搜索和模型编排工具结合的可能空间。

Fireworks旧金山大会:联手微软英伟达用开源模型挑战闭源前沿
Fireworks在旧金山举办Deploy大会,与微软、英伟达联手,汇聚数百名开发者,目标是用开源模型击败闭源前沿模型,聚焦开源模型的推理与部署落地。

从Demo到企业级自动化:Fireworks与UiPath的关键跨越
Fireworks与UiPath在Fireworks Forge大会上分享用开放模型构建企业级自动化的经验,探讨从Demo演示到可靠生产系统的关键差距与规模化挑战。

vLLM v0.33.0 版本发布:一次值得关注的推理引擎更新
vLLM 发布 v0.33.0 版本,本文梳理该版本发布页面的基本信息,分析 vLLM 在大模型推理栈中的定位,并就缺少详细更新日志情况下的升级策略给出建议。

BiRefNet移动端NPU部署难题:高通芯片为何难跑亚秒级分割?
开发者尝试将BiRefNet部署到高通移动NPU和GPU,却因可变形卷积等复杂算子导致编译失败。本文分析移动端部署BiRefNet的难点、算子支持限制及可能的优化方向,探讨亚秒级延迟的实现路径。

测试时干预时机:PORTAL控制器如何动态决策
PORTAL控制器决定测试时适应的干预时机:通过共享比较与动态标签查询,在标签稀缺下选择何时部署干预、标注哪些输入、何时停止,避免平均准确率掩盖的批次失败。

AI服务框架:企业AI的下一个竞争优势
企业AI竞争优势正从模型选择转向服务框架构建。本文分析为何模型不再是唯一护城河,并给出可长期演进的AI服务框架设计原则:统一抽象层、可观测性、治理安全与弹性调度。

开源权重模型吃掉70%流量,AI网关市场生变
AI Gateway Index显示开源权重模型占据超70%的token流量,支出份额近25%且环比增长4倍,揭示开源模型在AI应用中的主导趋势与商业潜力。

SageMaker JumpStart前三季回顾:新增百余模型
Amazon SageMaker JumpStart 2026 年前三季度新增超 100 个模型、覆盖 30 家提供商,并推出简化 Model Hub、预配置部署和 Hugging Face 深链集成。本文梳理这些更新的实际影响与选型启示。

SageMaker ML工作流:从Notebook到端点部署
从软件工程师视角拆解Amazon SageMaker ML工作流:数据准备、Notebook实验、模型训练与评估、版本管理、端点部署及生产监控,理解模型如何从实验走向应用。

FactSet用Databricks AI Runtime把模型训练部署从数天压到小时级
FactSet借助Databricks AI Runtime将Text-to-Formula模型的训练与部署周期从数天缩短至小时级,本文分析其技术路径、对金融AI产品迭代节奏的影响,以及AI应用团队在基础设施自建与托管之间的权衡。

20亿参数能看图!千问3.5跑进RK3588本地部署实测
B站UP主实测千问3.5 2B版本在RK3588开发板上的本地部署全流程,含模型准备、运行环境配置、命令行与网页问答测试,以及文字和图片问答的详细耗时数据。

EmbeddingGemma 2 在 Cloud Run 上:int8 CPU 与 NVIDIA L4 对决
在 Google Cloud Run 上部署 EmbeddingGemma 2 文本嵌入模型,对比 int8 量化 CPU 服务与 NVIDIA L4 GPU 的延迟、吞吐、SciFact 检索精度及每百万文档成本,找出 3.4% 忙碌比例的盈亏平衡点。

用llama.cpp在SageMaker AI部署决策模型实战
教程详解如何用llama.cpp在Amazon SageMaker AI上部署决策模型,通过SemIf扩展返回带概率的选项判断,支持OpenAI兼容接口与CPU/GPU灵活运行。

MLOps入门:Amazon SageMaker如何打通模型到生产
从训练到部署再到监控,MLOps 打通机器学习模型上生产的完整链路。本文解析 MLOps 核心概念、Amazon SageMaker 在生命周期各环节的作用,以及团队落地 MLOps 的现实路径。

LLM调用的真实成本:Token、精度与诚实的数字
LLM调用的真实成本远不止每百万Token的标价。本文从Token消耗、数值精度、延迟与可用性四个维度,提供一份可执行的成本测量清单,帮助团队给出站得住脚的成本数字。

端侧大模型推理:规格表不会告诉你的真实取舍
端侧大模型推理远不只是"没网络的云"。本文深入剖析内存硬限制、量化精度权衡、冷启动延迟与无自动扩容四大取舍,并附一份可直接落地的工程检查清单。

从Ollama到vLLM:在Kubernetes上部署生产级AI Agent
如何把本地AI Agent部署到生产环境?本文拆解从Ollama切换到vLLM、并容器化部署到OpenShift/Kubernetes的完整流程,包括模型服务、配置改动、工具调用验证,以及生产就绪前必须解决的安全与治理问题。

FDE前沿部署工程师全解析:AI时代的新物种
FDE前沿部署工程师(Forward Deployment Engineer)是AI时代备受关注的新职业。本文解析FDE概念起源、与传统外包的区别、本体论驱动与场景驱动两大流派,以及从Agent开发到模型微调、预训练的完整技能进阶路线。