Arize Phoenix
Arize AI推出的开源LLM可观测性工具，支持对AI应用进行追踪、评估和实验，专注于LLM和Agent的性能分析
核心事实
时间轴 (近 90 天)
业界已出现LangSmith、Langfuse、Arize Phoenix等专门针对LLM应用的可观测性平台，能够记录每次工具调用的输入输出、token消耗和延迟
OpenTelemetry、LangSmith、Arize Phoenix 等工具已开始标准化 Agent trace 的采集方式
LangSmith、Arize等专项工具正在填补LLM可观测性领域的空白
业界已涌现出LangSmith、Langfuse、Arize Phoenix等专为LLM应用设计的可观测性平台
业界借助OpenTelemetry标准或LangSmith、Langfuse、Arize Phoenix等LLM可观测性平台追踪模型推理的输入输出、token消耗、延迟和工具调用
成熟的 AI 可观测性工具如 LangSmith、Langfuse、Arize Phoenix 通常提供追踪、跨步骤输入输出记录、Token 用量统计和异常回放能力
LangSmith、Langfuse、Arize Phoenix等平台在OpenTelemetry基础上做了针对LLM的扩展，可记录token消耗、模型版本、提示词内容和返回结果并提供轨迹回放
Langfuse 和 Arize Phoenix 是可用于记录 Agent 运行轨迹的可观测性平台
LangSmith、Langfuse、Arize Phoenix 等工具已开始提供追踪和评估功能，但对任务级成功的结构化度量仍是行业普遍短板
业界正在形成AI可观测性标准，如OpenTelemetry的AI语义约定，以及LangSmith、Arize Phoenix等面向LLM应用的可观测性工具
还有 7 条时间轴事件
全部知识事实 (17)
Arize Phoenix专注于LLM评估，通过内置评估模板对检索相关性、回答忠实度和幻觉率进行量化打分
65%待验证业界已出现LangSmith、Langfuse、Arize Phoenix等专门针对LLM应用的可观测性平台，能够记录每次工具调用的输入输出、token消耗和延迟
50%待验证OpenTelemetry、LangSmith、Arize Phoenix 等工具已开始标准化 Agent trace 的采集方式
50%待验证LangSmith、Arize等专项工具正在填补LLM可观测性领域的空白
50%待验证业界已涌现出LangSmith、Langfuse、Arize Phoenix等专为LLM应用设计的可观测性平台
50%待验证业界借助OpenTelemetry标准或LangSmith、Langfuse、Arize Phoenix等LLM可观测性平台追踪模型推理的输入输出、token消耗、延迟和工具调用
50%待验证成熟的 AI 可观测性工具如 LangSmith、Langfuse、Arize Phoenix 通常提供追踪、跨步骤输入输出记录、Token 用量统计和异常回放能力
50%待验证LangSmith、Langfuse、Arize Phoenix等平台在OpenTelemetry基础上做了针对LLM的扩展，可记录token消耗、模型版本、提示词内容和返回结果并提供轨迹回放
50%待验证Langfuse 和 Arize Phoenix 是可用于记录 Agent 运行轨迹的可观测性平台
50%待验证LangSmith、Langfuse、Arize Phoenix 等工具已开始提供追踪和评估功能，但对任务级成功的结构化度量仍是行业普遍短板
50%待验证业界正在形成AI可观测性标准，如OpenTelemetry的AI语义约定，以及LangSmith、Arize Phoenix等面向LLM应用的可观测性工具
50%待验证LangSmith、Langfuse、Arize Phoenix 等工具已将链路追踪机制专门适配于 LLM 应用，支持按 Trace 回放 Agent 的决策过程
50%待验证新兴的Agent可观测性方案如LangSmith、Arize Phoenix开始记录LLM调用的prompt/completion对和工具调用输入输出
50%待验证智能体可观测性工具包括LangSmith、Arize Phoenix、Weights & Biases Weave等
50%待验证LangSmith、Langfuse、Arize Phoenix、Braintrust、Helicone等是针对LLM应用的可观测性和评估工具
50%待验证LangSmith、Langfuse、Arize Phoenix、Braintrust、Helicone等平台帮助开发者追踪调用链路、记录token消耗、可视化prompt效果、运行离线评估
50%待验证LangSmith、Langfuse、Arize Phoenix 等工具正试图为Agent提供可观测性能力
50%