LangSmith
LangSmith是由LangChain团队开发的LLM应用全生命周期管理平台，专为大语言模型应用的开发、调试与生产监控场景设计。平台提供链路追踪、日志记录、性能评估和数据集管理等核心功能，帮助开发者定位模型调用中的问题、评估输出质量并持续优化应用表现。LangSmith可与LangChain框架深度集成，同时也支持独立使用，适用于个人开发者和企业团队的LLM应用运维场景。
核心事实
时间轴 (近 90 天)
不要把审批通过率当成成功指标，而应跟踪拒绝情况和抽样复核（如从 LangSmith 的 trace 或日志中取样）。
LangChain近期推出了LangSmith微调功能，以CLI形式呈现。
LangSmith微调功能将数据交给Fireworks或BaseShift等提供托管SFT API的模型提供商。
LangSmith工具可用于追踪、评估和监控Agent及Graph的执行过程，也支持将Agent部署为接口供Web使用。
LangSmith和OpenTelemetry的LLM语义约定是Agent可观测性方向的实践。
LangGraph-Server负责运行与状态持久化，LangSmith负责观测与分析，二者配合才能覆盖生产环境中的稳定运行与问题排查。
在子智能体场景下，LangSmith的追踪视图能够按父子关系还原树状调用链，帮助定位是哪个子智能体出现了错误或延迟。
常见的开源评估方案包括LangSmith、Braintrust、DeepEval等，它们提供追踪、数据集管理和指标计算能力。
市面上已有的 AI 可观测性工具如 LangSmith、AgentOps 聚焦追踪与调试，而 AgentTrust 聚焦拦截。
LangSmith、LangFuse等工具提供调用链追踪、Token消耗统计和评估功能，部分支持会话回放，但回放通常只是重新展示历史记录，并不保证确定性重执行。
还有 40 条时间轴事件
全部知识事实 (20)
LangSmith是LangChain公司推出的LLM应用可观测性平台，通过Tracing技术记录每次Agent执行的完整链路
90%已验证代表性AI可观测性工具包括LangSmith、Weights & Biases、Arize AI以及Phoenix
80%已验证LangSmith是LangChain官方的追踪和评估平台
80%已验证LangSmith是用于调试、测试、评估和监控LLM应用的可观测性平台
80%已验证LangChain生态包括LangGraph（用于复杂多步骤工作流）和LangSmith（用于调试与监控）
80%已验证LLMOps 是从 MLOps 演进而来的新兴工程领域，用于应对 Prompt 版本管理、多模型路由、对话历史追踪等 LLM 特有问题
75%已验证Function Calling通过专项微调让模型在特定条件下输出符合预定义JSON Schema的结构化内容
70%已验证可观测性指对 Agent 每一步的输入输出、工具调用结果、耗时与费用进行完整的日志记录与追踪，以便定位故障、评估质量、优化成本
65%已验证Braintrust、LangSmith、Phoenix是为LLM应用提供trace级别可观测性的平台
65%已验证OpenTelemetry、LangSmith 等可观测性工具正在将分布式追踪理念应用于AI智能体的执行链路监控
65%已验证LangGraph的部署方案基于其商业产品LangGraph Platform（原LangSmith）
65%待验证业界已有LangSmith、Helicone、Arize等专门的LLM可观测性工具
90%待验证LangChain在2023年后推出了LangGraph和LangSmith
85%待验证LangSmith、Braintrust、Patronus AI等公司正从不同角度切入AI测试与评估赛道
85%待验证LangSmith、Langfuse、Helicone 等平台已经在为 LLM 应用提供调用追踪和成本分析
85%待验证LangSmith、Phoenix、Helicone等专门的LLM监控平台已经出现，反映业界对AI可观测性的重视
85%待验证LangChain在2023年推出了LangSmith（用于调试和监控）和LangServe（用于快速部署API服务）
80%待验证LangSmith 和 Braintrust 等平台允许开发者追踪每一轮代理决策的推理过程、Token 消耗和行为轨迹
80%待验证LangSmith和Helicone是用于Agent多步推理过程日志追踪的工具
80%待验证LangSmith和Langfuse是AI可观测性（Observability）方向的代表工具
80%