概念Self-hosted LLM / 本地部署开源模型
自托管开源模型
将开源权重的大语言模型部署在自有硬件上运行，而非通过第三方API调用。核心优势是数据不出本地、不受外部限流和定价变动影响，但需要自行承担硬件采购、推理优化和运维成本。
时间轴 (近 90 天)
10月16日
作者尝试自托管一个较小开源模型，花费16小时处理CUDA版本、Docker容器内存限制和GPU热节流问题，且自托管模型在提取非正式Slack语言中决策时表现明显更差；切回API只花一小时，每次请求成本不到一分钱。
待验证50%
10月14日
在自托管开源模型运行编码Agent的工作中，选择模型只是整个工程中最简单的一环。
待验证50%