LFORLA
LFORLA是一个AI Agent评测体系/组织,维护JS 3D Builder等基准测试,强调固定评分标准、服务端静态分析和模型间可比性
时间轴 (近 90 天)
JS 3D Builder (Three.js) 是一个基准测试,任务是从书面建筑规格出发,使用 Three.js 程序化生成 3D 建筑代码,由服务端静态分析打分,不执行代码也不使用 LLM 裁判。
排序基准测试作者将自己的模型 GLM 5.2 提交到自己的基准上,存在利益冲突。
该基准评分采用确定性的token相似度比对,参照答案只保存在服务器端,不向模型展示
该基准的Code Similarity指标由60%的词袋余弦相似度加40%的最长公共子序列比率构成
60/40的余弦与LCS混合比例是基准设计者的主观工程选择,并无理论最优解
Function Recovery维度采用0.75二元门槛,token相似度达到或超过0.75才算通过
LFORLA的逆向工程基准任务是从被剥离符号的二进制文件中还原出函数的C语言源码
GLM 5.2(作者自己提交)在该基准得分为78.0
token相似度不等于语义正确性,一份提交可能token匹配但结构上依然是错的
选模型应按契合用例的维度比较而非只看总排名,需要完整源码重建看Completeness和Function Recovery,需要token级保真度看Code Similarity
还有 2 条时间轴事件
全部知识事实 (12)
JS 3D Builder (Three.js) 是一个基准测试,任务是从书面建筑规格出发,使用 Three.js 程序化生成 3D 建筑代码,由服务端静态分析打分,不执行代码也不使用 LLM 裁判。
50%待验证排序基准测试作者将自己的模型 GLM 5.2 提交到自己的基准上,存在利益冲突。
50%待验证该基准评分采用确定性的token相似度比对,参照答案只保存在服务器端,不向模型展示
50%待验证该基准的Code Similarity指标由60%的词袋余弦相似度加40%的最长公共子序列比率构成
50%待验证60/40的余弦与LCS混合比例是基准设计者的主观工程选择,并无理论最优解
50%待验证Function Recovery维度采用0.75二元门槛,token相似度达到或超过0.75才算通过
50%待验证LFORLA的逆向工程基准任务是从被剥离符号的二进制文件中还原出函数的C语言源码
50%待验证GLM 5.2(作者自己提交)在该基准得分为78.0
50%待验证token相似度不等于语义正确性,一份提交可能token匹配但结构上依然是错的
50%待验证选模型应按契合用例的维度比较而非只看总排名,需要完整源码重建看Completeness和Function Recovery,需要token级保真度看Code Similarity
50%待验证Nemotron 3 Ultra(via opencode)在该基准得分为43.49
50%待验证该基准中每个模型拿到的提示词和二进制文件完全一致,模型可选择带工具或无工具模式
50%