Langfuse入门：打造财务分析智能体与评估平台

为什么需要Langfuse：从智能体开发到可观测性

许多开发者已经能基于Harness架构搭建多智能体应用，但智能体上线后的追踪、评估与可观测性往往被忽视。正如B站UP主在教程开篇所指出的，此前已经讲过采购智能助手、AI coding智能体等项目，重点都在“如何开发”，而这次项目的核心转向“如何追踪、评估和观测”。Langfuse正是为此而生的开源AI Engineer平台。

Langfuse的官方定义是“开源的大模型OPS平台”，但这个说法过于笼统。更准确的理解是：它面向RAG和智能体应用，提供运行过程追踪、Token成本与延迟分析、提示词管理、反馈收集、自动与人工标注评估，并通过数据集（Dataset）和实验（Experiment）实现持续改进。它不负责开发智能体本身，而是为已开发好的智能体提供数据收集、评估和追踪能力。

LLM Ops（大模型运维） 是传统MLOps在生成式AI场景下的延伸，涵盖模型部署、提示词版本管理、成本监控、质量评估与持续迭代等环节。与传统软件运维不同，LLM应用的输出具有非确定性，且成本与Token消耗直接挂钩，因此需要专门的工具链来记录每次调用的输入输出、延迟和费用，并支持基于真实数据的回归测试。Langfuse正是定位在这一层的开源平台，它不替代模型服务或应用框架，而是补齐从开发到上线后的观测与改进闭环。

Langfuse的核心能力与边界

它能做什么

Langfuse可以对大模型、RAG以及智能体进行可观测，记录模型、工具、检索和子智能体的各种调用链。它支持评估与反馈、提示词管理以及指标分析。用一个通俗的比喻：如果把智能体比作一名会查资料、会使用工具、会计算的数字化AI员工，那么Langfuse就相当于飞行记录仪、质量部门、实验室和提示词配置中心的结合体。

飞行记录仪负责追踪数字员工的一举一动；质量部门对生成的答案进行质量评估；实验室允许你在修改提示词或更换模型后先跑一下效果，对比当前稳定版（Best9）是否更好；提示词配置中心则解决了一个关键痛点——提示词在运行过程中修改后效果可能变差，放在代码里无法回滚，而Langfuse支持版本管理和回滚，无需重启RAG或智能体项目。

调用链追踪（Tracing） 是可观测性的基础。在智能体应用中，一次用户请求可能触发多次模型调用、工具执行和子智能体协作，形成树状调用结构。Langfuse通过Trace和Span记录每个节点的输入输出、耗时、模型版本和Token用量，使开发者能还原完整执行路径。这与传统分布式追踪（如OpenTelemetry）理念相似，但针对LLM场景增加了提示词、生成结果和评估分数的记录，便于定位是哪个环节导致延迟或质量下降。

提示词版本管理与实验室（Playground） 解决的是提示词工程中的可复现性问题。提示词在代码中修改后难以回滚，且效果对比缺乏统一基准。Langfuse将提示词作为独立资源进行版本控制，每次修改生成新版本并保留历史，支持一键回滚。实验室功能允许在相同输入下对比不同提示词或模型版本的效果，结合评估分数决定是否上线。由于提示词通过API动态获取，修改后无需重启应用即可生效，降低了迭代成本。

它不能做什么

Langfuse不提供智能体本身的框架，不提供大模型，不提供向量知识库，也不提供业务数据库。它同样不负责智能体或RAG上线后的服务器运维、监控和健康检查。明确这些边界，才能正确地将Langfuse嵌入企业级技术栈。

Langfuse如何回答关键问题

在实际企业开发中，Langfuse能回答一系列关键问题：这次请求中哪些步骤、哪个子智能体做了什么事，调用了哪些工具和模型；工具和模型执行了多长时间；提示词和模型是哪个版本；输入输出Token统计、费用和延迟是多少；回答是否正确、是否有完整的证据列表；用户是否满意（通过用户标注）；新版本是否比当前稳定版更好。这些问题覆盖了智能体上线后的核心观测需求。

与Harness架构财务分析智能体的结合

该教程规划的项目包含两层：第一层是基于Harness架构的多智能体财务分析智能体，第二层是面向企业级的日志追踪、评估与可观测性平台开发。Harness架构此前已用于采购智能助手和AI coding智能体，这次财务分析场景将复用该架构，而Langfuse则作为评估与追踪层接入。课程重点不在重复讲解智能体开发，而是展示如何将Langfuse与已有智能体整合，实现企业级评估平台。

Harness架构 在此处指一种多智能体编排模式，通常包含一个协调器（Harness）负责任务分解与路由，多个子智能体分别承担检索、计算、分析等职责。该架构的优势在于职责分离和可扩展性，但也增加了调用链的复杂度。将Langfuse接入Harness架构时，需要在协调器和各子智能体的关键节点埋点，记录任务分发、工具调用和结果汇总过程，从而在追踪视图中清晰呈现多智能体协作的全貌，为评估各子智能体的贡献和瓶颈提供数据基础。

支持的语言与框架

Langfuse的顶层语言是Python和TypeScript/JavaScript，也支持基于它做二次开发。它可以与LangChain、LangGraph、LlamaIndex、OpenAI Agent SDK等常见RAG和智能体开发框架无缝整合。这意味着无论你的智能体基于哪个框架构建，都能较低成本地接入Langfuse的追踪与评估能力。

入门建议

对于准备落地Langfuse的团队，建议先明确智能体的可观测需求边界，再部署Langfuse自托管服务并与现有智能体项目对接。提示词管理应尽早纳入Langfuse，利用其版本管理和实验室功能进行迭代对比。评估环节可从人工标注和自动评估结合开始，逐步建立数据集和实验流程。Langfuse不是智能体框架的替代品，而是企业级AI工程化闭环中不可或缺的观测与评估基础设施。