Forecall
AI工具与MCP生态研究团队，对MCP工具描述质量进行结构化评分与端到端模型测试
时间轴 (近 90 天)
Forecall团队对55个公开MCP服务器、共1,274个工具的描述进行了结构化评分，55个服务器的平均分从19.9到82不等，中位数仅为44。
在1,274个MCP工具中，497个工具描述得分低于40，仅有18个达到80分以上。
885个工具（占69%）从未在描述中说明使用场景。
在156个直接提取的工具中，87个（56%）既没有输出schema，也没有在描述中说明返回内容。
55个MCP服务器中有18个存在至少一对几乎相同的工具描述，共129对；其中Notion（24个工具中有57对）和Paper Search（25个工具中有29对）贡献了绝大多数重复。
Forecall在4个服务器（Memory、Notion、Playwright、Chrome DevTools）的88个工具上，为每个工具生成8个单步请求，分别用Claude Sonnet 5.5和GPT-6.1 Sol测试模型选择正确率，所有服务器的正确率区间为91%到99%。
工具描述得分与模型正确选择之间的Spearman相关系数仅为0.04，统计上几乎不存在关联。
得分低于40的工具被正确选择的比例为95.5%，而得分60到79的工具反而达到100%。
将其他服务器的25到55个工具混入候选集后，没有一次请求被误导向其他服务器的工具，准确率保持在91%到98%。
当前沿模型面对未指定页码的请求时，在77%到87%的情况下会先调用list_pages再执行操作；对于browser_fill_form，模型会先获取页面快照。
还有 3 条时间轴事件
全部知识事实 (13)
Forecall团队对55个公开MCP服务器、共1,274个工具的描述进行了结构化评分，55个服务器的平均分从19.9到82不等，中位数仅为44。
50%待验证在1,274个MCP工具中，497个工具描述得分低于40，仅有18个达到80分以上。
50%待验证885个工具（占69%）从未在描述中说明使用场景。
50%待验证在156个直接提取的工具中，87个（56%）既没有输出schema，也没有在描述中说明返回内容。
50%待验证55个MCP服务器中有18个存在至少一对几乎相同的工具描述，共129对；其中Notion（24个工具中有57对）和Paper Search（25个工具中有29对）贡献了绝大多数重复。
50%待验证Forecall在4个服务器（Memory、Notion、Playwright、Chrome DevTools）的88个工具上，为每个工具生成8个单步请求，分别用Claude Sonnet 5.5和GPT-6.1 Sol测试模型选择正确率，所有服务器的正确率区间为91%到99%。
50%待验证工具描述得分与模型正确选择之间的Spearman相关系数仅为0.04，统计上几乎不存在关联。
50%待验证得分低于40的工具被正确选择的比例为95.5%，而得分60到79的工具反而达到100%。
50%待验证将其他服务器的25到55个工具混入候选集后，没有一次请求被误导向其他服务器的工具，准确率保持在91%到98%。
50%待验证当前沿模型面对未指定页码的请求时，在77%到87%的情况下会先调用list_pages再执行操作；对于browser_fill_form，模型会先获取页面快照。
50%待验证在早前测试中，一次将工具得分从31提升到74的改写，反而让两个模型的选择表现变差。
50%待验证Forecall的linter已在GitHub开源，提供在线检查（forecall.dev/en/lint）和本地命令行工具（npx forecall dump和npx forecall lint），本地使用不向外部发送数据。
50%待验证对于使用Pro或Team计划的Forecall用户，评估功能可报告模型选择正确率、前置查找率、参数有效性和错误调用等指标。
50%