DeepInfra
提供无服务器 GPU 推理服务的云平台,托管多种开放权重模型,以低成本和 FP8 端点著称
时间轴 (近 90 天)
据 DeepSeek 披露,单个集群运行 DeepInfra 技术栈,每天可服务 155 万亿个 token。
DeepInfra 提供批次不变模式,强制数学结果每次相同,该模式默认关闭,因为每次用相同方式计算会更慢。
DeepInfra 的内核是为 NVIDIA 数据中心 Blackwell 芯片(如 B200)编写的,无法直接在 DGX Spark 等使用不同 Blackwell 芯片的设备上开箱即用。
DeepSeek v4.1 Flash 模型已可在 vLLM 等常规推理引擎上运行,DeepInfra 最初也是构建在 vLLM 之上。
Qwen/Qwen3-235B-A22B-Instruct-2507在3家供应商中最低$0.09/M(DeepInfra)、最高$3/M(Crusoe),价差+3233.3%,为文中最大价差案例。
Llama 3.3 70B Instruct 在 DeepInfra 的 FP8 无服务器端点上输入价格低至 $0.12/1M。
全部知识事实 (6)
据 DeepSeek 披露,单个集群运行 DeepInfra 技术栈,每天可服务 155 万亿个 token。
60%待验证DeepInfra 提供批次不变模式,强制数学结果每次相同,该模式默认关闭,因为每次用相同方式计算会更慢。
50%待验证DeepInfra 的内核是为 NVIDIA 数据中心 Blackwell 芯片(如 B200)编写的,无法直接在 DGX Spark 等使用不同 Blackwell 芯片的设备上开箱即用。
50%待验证DeepSeek v4.1 Flash 模型已可在 vLLM 等常规推理引擎上运行,DeepInfra 最初也是构建在 vLLM 之上。
50%待验证Qwen/Qwen3-235B-A22B-Instruct-2507在3家供应商中最低$0.09/M(DeepInfra)、最高$3/M(Crusoe),价差+3233.3%,为文中最大价差案例。
50%待验证Llama 3.3 70B Instruct 在 DeepInfra 的 FP8 无服务器端点上输入价格低至 $0.12/1M。
50%