Conifer
开源LLM网关项目,提供统一的多厂商模型接入、故障切换元数据追踪、逐项成本核算及硬性成本上限等功能,旨在解决Agent可观测性问题
时间轴 (近 90 天)
Conifer是一个开源的LLM网关项目
Conifer采用'一个密钥、一个Base URL'的接入方式,同时打通了OpenAI和Anthropic的接口
Conifer每次调用返回时都会携带命名的catalog id、类型化的错误或402响应,以及requested vs effective模型对照
Conifer每次调用返回逐项列出的成本明细,并设置了单次调用的硬性成本上限
Conifer在仓库中提供了可选的TypeScript/Python SDK以及MCP(Model Context Protocol)支持
Conifer的项目地址为https://github.com/ConiferKit/use-conifer
将元数据管理下沉到网关层可以把横切关注点从业务逻辑中剥离,但会引入多一层依赖和潜在延迟的权衡
全部知识事实 (7)
Conifer是一个开源的LLM网关项目
50%待验证Conifer采用'一个密钥、一个Base URL'的接入方式,同时打通了OpenAI和Anthropic的接口
50%待验证Conifer每次调用返回时都会携带命名的catalog id、类型化的错误或402响应,以及requested vs effective模型对照
50%待验证Conifer每次调用返回逐项列出的成本明细,并设置了单次调用的硬性成本上限
50%待验证Conifer在仓库中提供了可选的TypeScript/Python SDK以及MCP(Model Context Protocol)支持
50%待验证Conifer的项目地址为https://github.com/ConiferKit/use-conifer
50%待验证将元数据管理下沉到网关层可以把横切关注点从业务逻辑中剥离,但会引入多一层依赖和潜在延迟的权衡
50%