基准XStack基准
XStack
XStack是一个评估AI智能体将机器学习代码库在PyTorch与JAX两大生态间迁移能力的基准,要求智能体将PyTorch仓库转换为在TPU上运行的JAX仓库,并根据源仓库的已发表结果进行评分。
时间轴 (近 90 天)
11月6日
XStack是一个评估智能体在PyTorch和JAX两大生态间迁移ML代码库的基准。
待验证50%
11月6日
在XStack基准中,每个智能体收到一个PyTorch代码库和一台干净的TPU机器,必须交付一个JAX代码库。
待验证50%
11月6日
XStack的评分基于源仓库的已发表结果(经认证和校准),确保迁移后的代码在功能上等价且性能达标。
待验证50%
11月6日
在XStack初步评估中,Claude Opus 5的通过率为75%。
待验证50%
11月6日
在XStack初步评估中,GPT-5.6-sol的通过率为45%。
待验证50%
11月6日
在XStack初步评估中,除Claude Opus 5和GPT-5.6-sol外,其他所有智能体的通过率至多40%。
待验证50%
全部知识事实 (6)
待验证
XStack是一个评估智能体在PyTorch和JAX两大生态间迁移ML代码库的基准。
50%待验证在XStack基准中,每个智能体收到一个PyTorch代码库和一台干净的TPU机器,必须交付一个JAX代码库。
50%待验证XStack的评分基于源仓库的已发表结果(经认证和校准),确保迁移后的代码在功能上等价且性能达标。
50%待验证在XStack初步评估中,Claude Opus 5的通过率为75%。
50%待验证在XStack初步评估中,GPT-5.6-sol的通过率为45%。
50%待验证在XStack初步评估中,除Claude Opus 5和GPT-5.6-sol外,其他所有智能体的通过率至多40%。
50%