基准
Lakh, Crore and Carpet Area
针对印度购房场景设计的大语言模型数学基准测试，包含60道确定性题目，覆盖lakh/crore换算、面积单位转换、EMI计算及印度数字格式等印度本土金融地产计算场景
时间轴 (近 90 天)
10月11日
一个名为Lakh, Crore and Carpet Area的基准测试由60道确定性小题组成，覆盖印度购房者的金钱与地产计算，分为换算、面积、EMI与税务、格式四组各15题
待验证50%
10月11日
该基准测试每道题只有唯一正确答案，由Python计算得出，评分器要求模型以ANSWER:<值>结尾，EMI允许±₹2的舍入误差，格式组要求精确字符串匹配
待验证50%
10月11日
所有参测模型在面积换算题（loading百分比、super built-up、gaj换算等）上均15题全对
待验证50%
10月11日
作者修复基准测试的方式是改为串行调用、加入重试，并在给出分数前先打印answered: X of 60，以确保基准分数的诚实
待验证50%
全部知识事实 (4)
待验证
一个名为Lakh, Crore and Carpet Area的基准测试由60道确定性小题组成，覆盖印度购房者的金钱与地产计算，分为换算、面积、EMI与税务、格式四组各15题
50%待验证该基准测试每道题只有唯一正确答案，由Python计算得出，评分器要求模型以ANSWER:<值>结尾，EMI允许±₹2的舍入误差，格式组要求精确字符串匹配
50%待验证所有参测模型在面积换算题（loading百分比、super built-up、gaj换算等）上均15题全对
50%待验证作者修复基准测试的方式是改为串行调用、加入重试，并在给出分数前先打印answered: X of 60，以确保基准分数的诚实
50%