[控场AI]
概念LFORLA JS 3D Builder

LFORLA

LFORLA是一个AI Agent评测体系/组织,维护JS 3D Builder等基准测试,强调固定评分标准、服务端静态分析和模型间可比性

时间轴 (近 90 天)

10月14日

JS 3D Builder (Three.js) 是一个基准测试,任务是从书面建筑规格出发,使用 Three.js 程序化生成 3D 建筑代码,由服务端静态分析打分,不执行代码也不使用 LLM 裁判。

待验证50%
10月14日

排序基准测试作者将自己的模型 GLM 5.2 提交到自己的基准上,存在利益冲突。

待验证50%
10月12日

该基准评分采用确定性的token相似度比对,参照答案只保存在服务器端,不向模型展示

待验证50%
10月12日

该基准的Code Similarity指标由60%的词袋余弦相似度加40%的最长公共子序列比率构成

待验证50%
10月12日

60/40的余弦与LCS混合比例是基准设计者的主观工程选择,并无理论最优解

待验证50%
10月12日

Function Recovery维度采用0.75二元门槛,token相似度达到或超过0.75才算通过

待验证50%
10月12日

LFORLA的逆向工程基准任务是从被剥离符号的二进制文件中还原出函数的C语言源码

待验证50%
10月12日

GLM 5.2(作者自己提交)在该基准得分为78.0

待验证50%
10月12日

token相似度不等于语义正确性,一份提交可能token匹配但结构上依然是错的

待验证50%
10月12日

选模型应按契合用例的维度比较而非只看总排名,需要完整源码重建看Completeness和Function Recovery,需要token级保真度看Code Similarity

待验证50%

还有 2 条时间轴事件

全部知识事实 (12)

来源文章