Tīrtha Bench
一个专注于评估模型工具调用能力的基准测试，采用统一的测试集和评分器，比较不同模型在准确率、成本、速度等维度的表现，并考虑托管商差异。
时间轴 (近 90 天)
Tīrtha Bench 的核心测试包含 800 个工具调用任务，取自伯克利公开的 BFCL 数据集，其中 400 个单次调用、200 个多工具选择、200 个需要并行调用的任务。
Tīrtha Bench 在 800 个 BFCL 任务之外，额外加入了 120 个作者专门编写的陷阱提示词，用于诱导模型做出错误的工具调用。
Tīrtha Bench 目前共有 68 个模型参与测试，其中 8 个进入了同一套 800 任务加 120 陷阱的共享对比。
Tīrtha Bench 共享对比中最高准确率为 95.4%，由 Grok 4.7 和 Claude Opus 5.5 并列取得。
Tīrtha Bench 的排名规则是：一个模型只与跑过完全相同测试、用相同方式评分的模型比较。
同一个开放模型 gpt-oss-120b 在同样的 800 个任务上，因四家不同托管商而得到 63.9% 到 78.0% 不等的分数。
Tīrtha Bench 计算出每 1000 次正确调用的美元成本跨度达到 65 倍，从 0.09 美元到 5.63 美元。
Grok 4.5 在 Tīrtha Bench 上的表现为 93.4% 准确率、98.3% 的陷阱通过率、1.85 秒延迟、每个正确答案 0.0015 美元。
Mikhail Maslenik 在自己的机器上、用同一模型的量化副本复现了 Tīrtha Bench 的 800 个请求，用伯克利官方检查器评分得到 90.6%，Tīrtha 自己的结果是 91.0%，800 个任务中相差三个。
复现过程暴露了公共测试集中有两个条目的预期答案会惩罚合理的回复，且 Tīrtha 的评分器是自行重写的伯克利版本；作者表示将改用官方检查器重新评分。
还有 3 条时间轴事件
全部知识事实 (13)
作者承认真实工作评测中的公平性问题尚未解决：一次 45 分钟任务的运行只是一个样本，需要多少个随机种子排名才有意义仍是开放问题。
50%待验证Tīrtha Bench 在 800 个 BFCL 任务之外，额外加入了 120 个作者专门编写的陷阱提示词，用于诱导模型做出错误的工具调用。
50%待验证Tīrtha Bench 目前共有 68 个模型参与测试，其中 8 个进入了同一套 800 任务加 120 陷阱的共享对比。
50%待验证Tīrtha Bench 共享对比中最高准确率为 95.4%，由 Grok 4.7 和 Claude Opus 5.5 并列取得。
50%待验证Tīrtha Bench 的排名规则是：一个模型只与跑过完全相同测试、用相同方式评分的模型比较。
50%待验证同一个开放模型 gpt-oss-120b 在同样的 800 个任务上，因四家不同托管商而得到 63.9% 到 78.0% 不等的分数。
50%待验证Tīrtha Bench 计算出每 1000 次正确调用的美元成本跨度达到 65 倍，从 0.09 美元到 5.63 美元。
50%待验证Grok 4.5 在 Tīrtha Bench 上的表现为 93.4% 准确率、98.3% 的陷阱通过率、1.85 秒延迟、每个正确答案 0.0015 美元。
50%待验证Tīrtha Bench 公开了发送的每一个请求，允许第三方复现。
50%待验证Tīrtha Bench 的核心测试包含 800 个工具调用任务，取自伯克利公开的 BFCL 数据集，其中 400 个单次调用、200 个多工具选择、200 个需要并行调用的任务。
50%待验证复现过程暴露了公共测试集中有两个条目的预期答案会惩罚合理的回复，且 Tīrtha 的评分器是自行重写的伯克利版本；作者表示将改用官方检查器重新评分。
50%待验证Mikhail Maslenik 在自己的机器上、用同一模型的量化副本复现了 Tīrtha Bench 的 800 个请求，用伯克利官方检查器评分得到 90.6%，Tīrtha 自己的结果是 91.0%，800 个任务中相差三个。
50%待验证Tīrtha Bench 的下一阶段 Real Work 计划测量四项内容：首次真实动作之前的工作量、上下文填充、45 分钟耐力测试、以及能解释分数的日志。
50%