Langfuse
主流LLM可观测性平台之一,支持LLM应用的监控、追踪和评估
核心事实
时间轴 (近 90 天)
业界常见做法是把 AI SDK 返回的字段统一导出到 OpenTelemetry 的 span 属性或专用指标中,再接入 Langfuse、Helicone 等观测平台,实现按 trace 维度的成本归因。
企业常用的 Codex 等编码智能体接入 Langfuse 后,同样能分析 token 成本与延迟。
提示词版本管理与回滚的做法是把提示词从代码中抽离,作为带名称与版本的独立对象存放在 Langfuse 中,应用运行时通过 SDK 按名称拉取指定版本(或标记为 production 的版本),修改与发布不需要重新构建和部署代码,出问题时把 production 标签指回旧版本即可完成回滚。
Langfuse 会把一次智能体请求中的多层嵌套步骤组织成树状结构,记录每一步的输入输出、耗时、所用模型与提示词版本,并携带会话与用户标识以便关联。
被取消的请求在 v0.2.0 中不再被误报为 Langfuse 错误。
Deposition 不打算替代 LangSmith 或 Langfuse,后者是监控工具,而 Deposition 针对“日后有人要求你证明 Agent 做了什么”的场景。
普通Python日志只能记录离散事件,无法直观还原因LLM调用、工具使用和检索步骤组成的完整执行轨迹。
Langfuse或LangSmith能自动捕获LLM应用每个步骤的输入输出、耗时和元数据,并以树状结构呈现整个trace。
自托管方案将运维责任转移给企业,需评估团队是否具备维护数据库、升级和备份的能力。
若团队重度依赖LangChain,LangSmith的流畅体验是加分项;若希望避免供应商锁定或需要私有化部署,Langfuse更合适。
还有 40 条时间轴事件
全部知识事实 (20)
LangChain首要支持Python,其次是TypeScript
80%已验证Langfuse是平台而非开发框架,通常通过安装自托管服务与自己的大模型、RAG、智能体项目整合对接
70%已验证Langfuse 官方将其定义为一个开源的大模型 LLMOps 平台
65%已验证Langfuse能对Claude Code、Codex这类AI编程智能体进行日志追踪
65%已验证Langfuse的核心作用包括追踪运行过程、分析token成本与延迟、管理提示词、收集反馈、执行评估,并通过数据集和实验实现持续改进
65%已验证Langfuse不提供智能体开发框架、不提供大模型本身、不提供向量知识库、不负责上线后服务器运维监控与健康检查
65%已验证Langfuse专注于观测、评估、提示词管理、指标分析这四件事
65%已验证Langfuse包含Web界面、PostgreSQL、Redis、ClickHouse以及负责异步评估的Langfuse Worker等组件
65%已验证Braintrust、LangSmith、Phoenix是为LLM应用提供trace级别可观测性的平台
65%已验证OpenTelemetry、LangSmith 等可观测性工具正在将分布式追踪理念应用于AI智能体的执行链路监控
65%待验证LiteLLM的日志系统支持与Langfuse、Helicone、Datadog和Prometheus等可观测性平台集成
90%待验证LangSmith、Langfuse、Helicone 等平台已经在为 LLM 应用提供调用追踪和成本分析
85%待验证Langfuse是LangSmith的开源替代方案,与Weights & Biases的Prompts、Helicone等共同构成LLMOps生态
85%待验证LangSmith和Langfuse是AI可观测性(Observability)方向的代表工具
80%待验证业界已涌现出LangSmith、Langfuse、Arize Phoenix等专为LLM应用设计的可观测性平台
60%待验证Langfuse的提示词管理将提示词从代码中解耦作为独立配置项管理,实现热更新,修改提示词无需重新部署应用,回滚可在几秒内完成
60%待验证私有化部署使数据全程不离开企业内网,从架构层面消除合规风险,而非依赖合同条款保障
60%待验证MLflow、LangSmith、Weights & Biases等工具链用于解决AI生产环境的可观测性与评估挑战
60%待验证LangSmith和Langfuse是专为LLM应用设计的可观测性工具,已形成独立赛道
60%待验证业界常见做法是把 AI SDK 返回的字段统一导出到 OpenTelemetry 的 span 属性或专用指标中,再接入 Langfuse、Helicone 等观测平台,实现按 trace 维度的成本归因。
50%