产品
Annotrace
面向LLM智能体轨迹的步骤级标注工作台，支持多种轨迹格式解析、人机协同标注和标注一致性度量
时间轴 (近 90 天)
10月19日
Annotrace支持六种轨迹格式，包括OpenTelemetry GenAI、LangSmith和Langfuse等。
待验证50%
10月19日
Annotrace将原始轨迹数据统一转换为有序的嵌套步骤列表，从而定义标注的最小单元。
待验证50%
10月19日
Annotrace允许标注者编写代码本，前沿模型基于标注者提供的轨迹样本提出初始标注集，且模型被问及与人类标注者完全相同的问题。
待验证50%
10月19日
Annotrace能够测量任意两个标注者（无论是人类还是AI）之间的一致性。
待验证50%
10月19日
在一个多智能体问答语料库上，Annotrace精确复现了先前手动标注工作的235个标注单元。
待验证50%
10月19日
两个模型对同一轨迹的标注一致率达到91%（κ=0.82）。
待验证50%
10月19日
Annotrace的开源性质（从描述推断）可能促进智能体研究领域的标准化进程。
待验证50%
全部知识事实 (7)
待验证
Annotrace支持六种轨迹格式，包括OpenTelemetry GenAI、LangSmith和Langfuse等。
50%待验证Annotrace将原始轨迹数据统一转换为有序的嵌套步骤列表，从而定义标注的最小单元。
50%待验证Annotrace允许标注者编写代码本，前沿模型基于标注者提供的轨迹样本提出初始标注集，且模型被问及与人类标注者完全相同的问题。
50%待验证Annotrace能够测量任意两个标注者（无论是人类还是AI）之间的一致性。
50%待验证在一个多智能体问答语料库上，Annotrace精确复现了先前手动标注工作的235个标注单元。
50%待验证两个模型对同一轨迹的标注一致率达到91%（κ=0.82）。
50%待验证Annotrace的开源性质（从描述推断）可能促进智能体研究领域的标准化进程。
50%