待验证50% 置信事件精确时间
作者尝试自托管一个较小开源模型，花费16小时处理CUDA版本、Docker容器内存限制和GPU热节流问题，且自托管模型在提取非正式Slack语言中决策时表现明显更差；切回API只花一小时，每次请求成本不到一分钱。
1
来源数
50%
置信度
长期有效
时效性
2026/10/16
首次发现
来源
涉及实体
相关事实
待验证传统软件订阅的边际成本近乎为零，但大语言模型每一次推理都消耗真实的GPU算力，运营成本与用户使用量直接挂钩64% 相似待验证在长驻服务中CUDA graph录制成本被摊薄到成千上万次推理里几乎可以忽略；但在scale-to-zero冷启动场景中，录制只发生一次却要立刻投入使用，于是从性能优化变成预热税。61% 相似待验证若任务是读取80万token再做分类，输入token是主要成本，应选输入最便宜的模型；而agentic开发工作中缓存等优化手段作用被放大61% 相似待验证Llama、Mistral 等开源模型没有按 token 计费的成本，但需要付出 GPU、托管、监控和工程时间；在达到相当高的调用量之前，托管 API 的全包成本通常更低59% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1047530API
curl https://kongchang.com/api/v1/knowledge/claims/1047530MCP
get_claim(id=1047530)