Langfuse
主流LLM可观测性平台之一,支持LLM应用的监控、追踪和评估
核心事实
时间轴 (近 90 天)
追踪是可选的,Langfuse密钥存在Secret Manager里,若Langfuse不可用机器人仍能正常回答
在该系统中每个Slack问题变成一条Langfuse trace,记录问题、答案、用户、线程session,以及每轮Gemini推理的prompt、回答和token计数
业界已出现LangSmith、Langfuse、Arize Phoenix等专门针对LLM应用的可观测性平台,能够记录每次工具调用的输入输出、token消耗和延迟
v0.0.91 为 BYOK 提供商加入可选的 Langfuse 追踪支持,通过 CLINE_LANGFUSE_ALL_PROVIDERS 开启
agent可观测性领域已有LangSmith、Langfuse、Helicone等专项工具出现,多agent管理面板是增长最快的细分方向之一
LangSmith、Langfuse、Weights & Biases Weave等平台已提供针对Agent工作流的追踪能力,可记录每次工具调用的输入输出、Token消耗与延迟
该插件目前首个可用的观测后端是 Langfuse
该项目仍处于早期阶段,OTEL 采集层已就位但后端目前仅 Langfuse 一个可用选项
Langfuse 提供基于 Docker Compose 或 Kubernetes 的 self-hosted 版本
Langfuse 的核心数据模型围绕 Trace、Span、Generation 三层展开,其中 Generation 专门捕获每次大模型推理的输入 prompt、输出内容、token 用量和耗时
还有 40 条时间轴事件
全部知识事实 (20)
Langfuse是平台而非开发框架,通常通过安装自托管服务与自己的大模型、RAG、智能体项目整合对接
70%已验证Langfuse是开源的LLM可观测性平台,支持更广泛的框架和自托管部署,对数据隐私敏感企业更友好
70%已验证Langfuse 官方将其定义为一个开源的大模型 LLMOps 平台
65%已验证Langfuse能对Claude Code、Codex这类AI编程智能体进行日志追踪
65%已验证Langfuse的核心作用包括追踪运行过程、分析token成本与延迟、管理提示词、收集反馈、执行评估,并通过数据集和实验实现持续改进
65%已验证Langfuse不提供智能体开发框架、不提供大模型本身、不提供向量知识库、不负责上线后服务器运维监控与健康检查
65%已验证Langfuse专注于观测、评估、提示词管理、指标分析这四件事
65%已验证Braintrust、LangSmith、Phoenix是为LLM应用提供trace级别可观测性的平台
65%已验证OpenTelemetry、LangSmith 等可观测性工具正在将分布式追踪理念应用于AI智能体的执行链路监控
65%已验证Langfuse 是专为 LLM 应用设计的开源可观测性平台,能追踪模型调用的输入输出、Token 消耗、延迟和工具调用路径,并支持 Prompt 版本 A/B 评估
65%待验证LiteLLM的日志系统支持与Langfuse、Helicone、Datadog和Prometheus等可观测性平台集成
90%待验证LangSmith、Langfuse、Helicone 等平台已经在为 LLM 应用提供调用追踪和成本分析
85%待验证Langfuse是LangSmith的开源替代方案,与Weights & Biases的Prompts、Helicone等共同构成LLMOps生态
85%待验证LangSmith和Langfuse是专为LLM应用设计的可观测性工具,已形成独立赛道
85%待验证LangSmith和Langfuse是AI可观测性(Observability)方向的代表工具
80%待验证LangSmith用于LLM应用监控,记录每次调用的完整上下文,并支持通过基准数据集进行评估(Evaluation)
70%待验证Langfuse的提示词管理将提示词从代码中解耦作为独立配置项管理,实现热更新,修改提示词无需重新部署应用,回滚可在几秒内完成
60%待验证私有化部署使数据全程不离开企业内网,从架构层面消除合规风险,而非依赖合同条款保障
60%待验证LangSmith、LangFuse、Phoenix(Arize)是专为LLM应用设计的可观测性工具,将链路追踪与Prompt版本、Token消耗、结构合规性审计相结合
60%待验证LangChain首要支持Python,其次是TypeScript
60%