[控场AI]
基准XStack基准

XStack

XStack是一个评估AI智能体将机器学习代码库在PyTorch与JAX两大生态间迁移能力的基准,要求智能体将PyTorch仓库转换为在TPU上运行的JAX仓库,并根据源仓库的已发表结果进行评分。

时间轴 (近 90 天)

11月6日

XStack是一个评估智能体在PyTorch和JAX两大生态间迁移ML代码库的基准。

待验证50%
11月6日

在XStack基准中,每个智能体收到一个PyTorch代码库和一台干净的TPU机器,必须交付一个JAX代码库。

待验证50%
11月6日

XStack的评分基于源仓库的已发表结果(经认证和校准),确保迁移后的代码在功能上等价且性能达标。

待验证50%
11月6日

在XStack初步评估中,Claude Opus 5的通过率为75%。

待验证50%
11月6日

在XStack初步评估中,GPT-5.6-sol的通过率为45%。

待验证50%
11月6日

在XStack初步评估中,除Claude Opus 5和GPT-5.6-sol外,其他所有智能体的通过率至多40%。

待验证50%

全部知识事实 (6)

来源文章