InferCrane
Apache-2.0 开源的大模型推理运维工具，通过稳定的 OpenAI 兼容端点抽象层，实现推理基础设施的安全演进，支持控制平面与数据平面分离、持久化部署意图和长时操作身份保持
时间轴 (近 90 天)
InferCrane 是一个 Apache-2.0 许可的开源项目，公开发布了 Beta 版
InferCrane 旨在解决自托管推理运维难题，让应用只面对一个稳定的 OpenAI 兼容端点，而底层基础设施的演进在抽象层之下完成
InferCrane 会在真正修改云厂商基础设施之前持久化部署意图，以支持可靠的恢复与重试
InferCrane 支持持久化操作，即使 CLI 断开连接或工作节点重启，长时运行的操作仍能保持其身份标识
在 InferCrane 中，新模型版本在验证阶段与当前活跃路由完全隔离，仅通过健康检查不足以让流量切换
InferCrane 的 Release Guard 机制基于基准测试、流量回放、质量评估、可靠性数据和成本证据，做出 promote、reject 或 insufficient evidence 三种记录
Release Guard 采用安全默认行为，无论被拒绝还是证据不足，活跃版本都会继续对外服务，且晋升、回滚和自动扩缩容决策事后可审查
InferCrane 已提供针对 AWS、GCP、Kubernetes 和 RunPod 的 Provider 适配器
InferCrane 可以接管已有的推理服务，包括 vLLM、SGLang、LiteLLM、自定义 OCI 镜像或任意 OpenAI 兼容端点
InferCrane 项目维护一份资质矩阵，区分夹具覆盖、真实基础设施验证、实验性路径和暂缓实现四类状态，且作者不宣称所有模型/运行时/GPU/厂商组合都已完成生产级验证
全部知识事实 (10)
InferCrane 项目维护一份资质矩阵，区分夹具覆盖、真实基础设施验证、实验性路径和暂缓实现四类状态，且作者不宣称所有模型/运行时/GPU/厂商组合都已完成生产级验证
50%待验证InferCrane 旨在解决自托管推理运维难题，让应用只面对一个稳定的 OpenAI 兼容端点，而底层基础设施的演进在抽象层之下完成
50%待验证InferCrane 会在真正修改云厂商基础设施之前持久化部署意图，以支持可靠的恢复与重试
50%待验证InferCrane 支持持久化操作，即使 CLI 断开连接或工作节点重启，长时运行的操作仍能保持其身份标识
50%待验证在 InferCrane 中，新模型版本在验证阶段与当前活跃路由完全隔离，仅通过健康检查不足以让流量切换
50%待验证InferCrane 的 Release Guard 机制基于基准测试、流量回放、质量评估、可靠性数据和成本证据，做出 promote、reject 或 insufficient evidence 三种记录
50%待验证Release Guard 采用安全默认行为，无论被拒绝还是证据不足，活跃版本都会继续对外服务，且晋升、回滚和自动扩缩容决策事后可审查
50%待验证InferCrane 已提供针对 AWS、GCP、Kubernetes 和 RunPod 的 Provider 适配器
50%待验证InferCrane 可以接管已有的推理服务，包括 vLLM、SGLang、LiteLLM、自定义 OCI 镜像或任意 OpenAI 兼容端点
50%待验证InferCrane 是一个 Apache-2.0 许可的开源项目，公开发布了 Beta 版
50%