PatternBench
专门评估大语言模型代码优化能力的基准，聚焦编译器超越型优化，通过运行时评估与基于抽象语法树的优化忠实度分析双重维度度量模型真实贡献
时间轴 (近 90 天)
PatternBench是一个专门评估编译器超越型优化（compiler-transcendent optimization）的基准，用于厘清LLM在代码优化中的真实贡献。
PatternBench覆盖七类变换（如循环优化、内存访问模式优化等）。
PatternBench对每个生成的程序进行双重评估：运行时评估（测量实际执行速度）和优化忠实度分析（基于AST验证是否实现预期优化模式）。
实验发现，仅靠运行时加速无法完整刻画优化能力：有些模型可能获得不错的加速但忠实度很低，反之忠实度高的模型往往也能带来实际加速。
PatternBench选择在残差优化机会上评估模型，以排除编译器已能覆盖的变换，从而更纯粹地测量模型的优化能力。
残差机会的分布可能因编译器版本、目标架构和优化标志而异，因此基准需要固定编译环境以保证公平比较。
全部知识事实 (6)
PatternBench是一个专门评估编译器超越型优化（compiler-transcendent optimization）的基准，用于厘清LLM在代码优化中的真实贡献。
50%待验证PatternBench覆盖七类变换（如循环优化、内存访问模式优化等）。
50%待验证PatternBench对每个生成的程序进行双重评估：运行时评估（测量实际执行速度）和优化忠实度分析（基于AST验证是否实现预期优化模式）。
50%待验证实验发现，仅靠运行时加速无法完整刻画优化能力：有些模型可能获得不错的加速但忠实度很低，反之忠实度高的模型往往也能带来实际加速。
50%待验证PatternBench选择在残差优化机会上评估模型，以排除编译器已能覆盖的变换，从而更纯粹地测量模型的优化能力。
50%待验证残差机会的分布可能因编译器版本、目标架构和优化标志而异，因此基准需要固定编译环境以保证公平比较。
50%