[控场AI]

#模型部署

共 41 篇相关文章

推理工程实战指南:开放资源与核心洞察
·5 分钟

推理工程实战指南:开放资源与核心洞察

基于Hacker News开放指南,系统梳理推理工程的核心维度:延迟与吞吐权衡、内存管理与量化、硬件选型与服务框架,并提供可操作的实践步骤与社区资源利用建议。

阅读全文 →
Particle:让开源模型更省Token、更省钱的新玩家
·4 分钟

Particle:让开源模型更省Token、更省钱的新玩家

Particle 是一家专注优化开源权重模型的新公司,目标是让模型服务更省 Token、更具成本效率。本文解析其定位、Token 效率优化的价值,以及与搜索和模型编排工具结合的可能空间。

阅读全文 →
Fireworks旧金山大会:联手微软英伟达用开源模型挑战闭源前沿
·2 分钟

Fireworks旧金山大会:联手微软英伟达用开源模型挑战闭源前沿

Fireworks在旧金山举办Deploy大会,与微软、英伟达联手,汇聚数百名开发者,目标是用开源模型击败闭源前沿模型,聚焦开源模型的推理与部署落地。

阅读全文 →
从Demo到企业级自动化:Fireworks与UiPath的关键跨越
·3 分钟

从Demo到企业级自动化:Fireworks与UiPath的关键跨越

Fireworks与UiPath在Fireworks Forge大会上分享用开放模型构建企业级自动化的经验,探讨从Demo演示到可靠生产系统的关键差距与规模化挑战。

阅读全文 →
vLLM v0.33.0 版本发布:一次值得关注的推理引擎更新
·4 分钟

vLLM v0.33.0 版本发布:一次值得关注的推理引擎更新

vLLM 发布 v0.33.0 版本,本文梳理该版本发布页面的基本信息,分析 vLLM 在大模型推理栈中的定位,并就缺少详细更新日志情况下的升级策略给出建议。

阅读全文 →
BiRefNet移动端NPU部署难题:高通芯片为何难跑亚秒级分割?
·5 分钟

BiRefNet移动端NPU部署难题:高通芯片为何难跑亚秒级分割?

开发者尝试将BiRefNet部署到高通移动NPU和GPU,却因可变形卷积等复杂算子导致编译失败。本文分析移动端部署BiRefNet的难点、算子支持限制及可能的优化方向,探讨亚秒级延迟的实现路径。

阅读全文 →
测试时干预时机:PORTAL控制器如何动态决策
·5 分钟

测试时干预时机:PORTAL控制器如何动态决策

PORTAL控制器决定测试时适应的干预时机:通过共享比较与动态标签查询,在标签稀缺下选择何时部署干预、标注哪些输入、何时停止,避免平均准确率掩盖的批次失败。

阅读全文 →
AI服务框架:企业AI的下一个竞争优势
·4 分钟

AI服务框架:企业AI的下一个竞争优势

企业AI竞争优势正从模型选择转向服务框架构建。本文分析为何模型不再是唯一护城河,并给出可长期演进的AI服务框架设计原则:统一抽象层、可观测性、治理安全与弹性调度。

阅读全文 →
开源权重模型吃掉70%流量,AI网关市场生变
·3 分钟

开源权重模型吃掉70%流量,AI网关市场生变

AI Gateway Index显示开源权重模型占据超70%的token流量,支出份额近25%且环比增长4倍,揭示开源模型在AI应用中的主导趋势与商业潜力。

阅读全文 →
SageMaker JumpStart前三季回顾:新增百余模型
·5 分钟

SageMaker JumpStart前三季回顾:新增百余模型

Amazon SageMaker JumpStart 2026 年前三季度新增超 100 个模型、覆盖 30 家提供商,并推出简化 Model Hub、预配置部署和 Hugging Face 深链集成。本文梳理这些更新的实际影响与选型启示。

阅读全文 →
SageMaker ML工作流:从Notebook到端点部署
·7 分钟

SageMaker ML工作流:从Notebook到端点部署

从软件工程师视角拆解Amazon SageMaker ML工作流:数据准备、Notebook实验、模型训练与评估、版本管理、端点部署及生产监控,理解模型如何从实验走向应用。

阅读全文 →
FactSet用Databricks AI Runtime把模型训练部署从数天压到小时级
·5 分钟

FactSet用Databricks AI Runtime把模型训练部署从数天压到小时级

FactSet借助Databricks AI Runtime将Text-to-Formula模型的训练与部署周期从数天缩短至小时级,本文分析其技术路径、对金融AI产品迭代节奏的影响,以及AI应用团队在基础设施自建与托管之间的权衡。

阅读全文 →
20亿参数能看图!千问3.5跑进RK3588本地部署实测
·5 分钟

20亿参数能看图!千问3.5跑进RK3588本地部署实测

B站UP主实测千问3.5 2B版本在RK3588开发板上的本地部署全流程,含模型准备、运行环境配置、命令行与网页问答测试,以及文字和图片问答的详细耗时数据。

阅读全文 →
EmbeddingGemma 2 在 Cloud Run 上:int8 CPU 与 NVIDIA L4 对决
·11 分钟

EmbeddingGemma 2 在 Cloud Run 上:int8 CPU 与 NVIDIA L4 对决

在 Google Cloud Run 上部署 EmbeddingGemma 2 文本嵌入模型,对比 int8 量化 CPU 服务与 NVIDIA L4 GPU 的延迟、吞吐、SciFact 检索精度及每百万文档成本,找出 3.4% 忙碌比例的盈亏平衡点。

阅读全文 →
用llama.cpp在SageMaker AI部署决策模型实战
·6 分钟

用llama.cpp在SageMaker AI部署决策模型实战

教程详解如何用llama.cpp在Amazon SageMaker AI上部署决策模型,通过SemIf扩展返回带概率的选项判断,支持OpenAI兼容接口与CPU/GPU灵活运行。

阅读全文 →
MLOps入门:Amazon SageMaker如何打通模型到生产
·4 分钟

MLOps入门:Amazon SageMaker如何打通模型到生产

从训练到部署再到监控,MLOps 打通机器学习模型上生产的完整链路。本文解析 MLOps 核心概念、Amazon SageMaker 在生命周期各环节的作用,以及团队落地 MLOps 的现实路径。

阅读全文 →
LLM调用的真实成本:Token、精度与诚实的数字
·5 分钟

LLM调用的真实成本:Token、精度与诚实的数字

LLM调用的真实成本远不止每百万Token的标价。本文从Token消耗、数值精度、延迟与可用性四个维度,提供一份可执行的成本测量清单,帮助团队给出站得住脚的成本数字。

阅读全文 →
端侧大模型推理:规格表不会告诉你的真实取舍
·5 分钟

端侧大模型推理:规格表不会告诉你的真实取舍

端侧大模型推理远不只是"没网络的云"。本文深入剖析内存硬限制、量化精度权衡、冷启动延迟与无自动扩容四大取舍,并附一份可直接落地的工程检查清单。

阅读全文 →