LangSmith
LangSmith是由LangChain团队开发的LLM应用全生命周期管理平台，专为大语言模型应用的开发、调试与生产监控场景设计。平台提供链路追踪、日志记录、性能评估和数据集管理等核心功能，帮助开发者定位模型调用中的问题、评估输出质量并持续优化应用表现。LangSmith可与LangChain框架深度集成，同时也支持独立使用，适用于个人开发者和企业团队的LLM应用运维场景。
核心事实
时间轴 (近 90 天)
在AI可观测性领域，LangSmith、Helicone、Arize等平台主要聚焦在模型调用的性能和质量监控上
技能管理平台包括LangSmith、Weights & Biases、Humanloop等，但尚未出现行业标准解决方案
LLMOps聚焦于提示词版本管理、输出质量持续监控、成本优化和安全护栏部署，LangSmith和Braintrust是该领域的新兴工具代表
新兴的Agent可观测性方案如LangSmith、Arize Phoenix开始记录LLM调用的prompt/completion对和工具调用输入输出
xpander的竞争者包括LangChain旗下的LangSmith、Relevance AI、以及Fixie.ai等
业界已出现专门的LLM可观测性平台,如LangSmith、Weights & Biases等
智能体可观测性工具包括LangSmith、Arize Phoenix、Weights & Biases Weave等
应对智能体可靠性风险的方法包括guardrails过滤器、权限最小化原则、human-in-the-loop检查点以及LangSmith、Arize等可观测性工具
商业SaaS可观测性方案包括LangSmith（LangChain官方）、Helicone、Braintrust等，具有开箱即用、集成度高的特点
LangSmith、Braintrust、Promptfoo等评估工具和平台在近两年涌现，核心价值之一是帮助团队更高效省钱地跑评估
还有 23 条时间轴事件
全部知识事实 (20)
LangSmith、LangFuse、Arize Phoenix是专为LLM应用设计的可观测性工具，能够可视化Agent的完整推理链路
80%已验证LangChain的生态系统包含LangChain Core、LangChain Community、LangGraph和LangSmith四大组件
80%已验证Braintrust、LangSmith、Phoenix是为LLM应用提供trace级别可观测性的平台
65%已验证LangSmith是Agent观测层的工具，用于日志、追踪与性能监控
65%已验证LLMOps 是从 MLOps 演进而来的新兴工程领域，用于应对 Prompt 版本管理、多模型路由、对话历史追踪等 LLM 特有问题
65%待验证LangChain生态包括核心库langchain-core、社区集成包langchain-community、可视化编排工具LangGraph和托管平台LangSmith
90%待验证业界已有LangSmith、Helicone、Arize等专门的LLM可观测性工具
90%待验证2024年LangChain团队推出了LangSmith（可观测性平台）和LangGraph（复杂工作流编排，支持循环和条件分支）
85%待验证LangChain在2023年推出了LangSmith（用于调试和监控）和LangServe（用于快速部署API服务）
80%待验证在AI可观测性领域，LangSmith、Helicone、Arize等平台主要聚焦在模型调用的性能和质量监控上
50%待验证技能管理平台包括LangSmith、Weights & Biases、Humanloop等，但尚未出现行业标准解决方案
50%待验证LLMOps聚焦于提示词版本管理、输出质量持续监控、成本优化和安全护栏部署，LangSmith和Braintrust是该领域的新兴工具代表
50%待验证新兴的Agent可观测性方案如LangSmith、Arize Phoenix开始记录LLM调用的prompt/completion对和工具调用输入输出
50%待验证xpander的竞争者包括LangChain旗下的LangSmith、Relevance AI、以及Fixie.ai等
50%待验证业界已出现专门的LLM可观测性平台,如LangSmith、Weights & Biases等
50%待验证智能体可观测性工具包括LangSmith、Arize Phoenix、Weights & Biases Weave等
50%待验证应对智能体可靠性风险的方法包括guardrails过滤器、权限最小化原则、human-in-the-loop检查点以及LangSmith、Arize等可观测性工具
50%待验证商业SaaS可观测性方案包括LangSmith（LangChain官方）、Helicone、Braintrust等，具有开箱即用、集成度高的特点
50%待验证LangSmith、Braintrust、Promptfoo等评估工具和平台在近两年涌现，核心价值之一是帮助团队更高效省钱地跑评估
50%待验证LLMOps 领域的同类工具包括 Humanloop、LangSmith、Weights & Biases Prompts 和 PromptLayer
50%