公司Simular
Simular
一家专注于计算机使用AI Agent的公司，公开发布OSWorld等基准测试的运行数据和复现结果
时间轴 (近 90 天)
10月12日
同一套benchmark，取最好一次和取平均，结果可以差出2.6个百分点。Simular数据显示按第一次干净运行是0.7674，按最好一次是0.7938。
待验证50%
10月12日
Simular在生成OSWorld 2.1参考运行时，因模型密钥使用上限导致任务在一步后停止，却被记录为成功、得分为0，整个文件夹平均分算出0.40。
待验证50%
10月12日
Simular让同一个agent跑在两个桌面镜像上，一个得0.7766，另一个得0.7414。
待验证50%