大模型算房贷EMI每月差₹10：一个印度数学基准的启示

当你把房贷的月供（EMI）交给AI计算，它会给你一个干净利落、看起来毫无破绽的数字——但每个月都差₹10。这不是夸张，而是一位开发者针对主流大语言模型做的一次真实基准测试结果。

这个名为 Lakh, Crore and Carpet Area 的基准测试，源于一个很接地气的场景：一位虚构的31岁买房者Ananya，攒了八年钱，准备签下一套标价₹72万（lakh）的两居室。宣传册写着1050平方英尺，但登记的实际使用面积（carpet area）只有720。开发者在搭建购房助手时反复向聊天机器人询问换算、单价和月供，答案听起来都很自信，但他无从判断对错。于是，他把这件事变成了一场基准测试。

rss source: Ask an AI for your home loan EMI and it will be off by ₹10

测的是什么：印度买房者真正要算的数学

这套基准由60道确定性的小题组成，覆盖印度购房者日常必须面对的金钱与地产计算。每道题只有唯一正确答案，并且由Python计算得出，而非人工心算。

题目分为四组，各15题：

换算组（Conversion）：lakh、crore、LPA（年薪）、百分比的互换，例如“₹1.2 crore 减去 ₹45 lakh，等于多少 lakh？”
面积组（Area）：carpet（套内使用）、built-up（建筑面积）、super built-up（公摊后面积）之间的换算、loading（公摊系数）以及gaj等本地单位。
EMI与税务组：等额本息的递减余额EMI、印花税、GST、TDS、中介费。
格式组（Format）：按印度方式书写数字，例如把98765432写成 9,87,65,432。

评分器要求模型以 ANSWER: <值> 结尾，数字对照真值校验，EMI允许±₹2的舍入误差，格式组要求精确字符串匹配。值得一提的是，评分器还会标记那些滑向西式千分位（把72,00,000写成7,200,000）的回答，哪怕最终答案是对的。作者称之为**“西式逗号漂移”（western comma drift）**。

为什么这件事重要？数以亿计的人以lakh和crore为思考单位，而印度房源列表又以模糊carpet与super built-up面积著称。如果一个模型要坐进购房助手里，这些不是边缘案例，而是它要回答的第一类问题。

印度的数字命名体系与国际通行的千进位制存在根本差异，这正是"西式逗号漂移"问题的根源。在印度体系中，1 lakh = 100,000（十万），1 crore = 10,000,000（一千万），更大的单位还有 arab（十亿）和 kharab（千亿）。书写时，印度采用两位一组的分隔方式：从右起第一个逗号在千位，此后每两位加一个逗号，因此一千万卢比写作 1,00,00,000 而非 1,000,000。这一格式在日常金融文件、银行账单和房产合同中无处不在。对购房者而言，把 72,00,000（72 lakh）误读为 7,200,000（720万，即72 lakh的西式写法）不会引发数学错误，但在填写贷款申请表或对比多套方案时，格式的混乱足以造成现实损失。LPA 则是"Lakh Per Annum"（年薪，以 lakh 为单位）的缩写，是印度职场中标注薪资的标准方式，直接影响贷款资质评估。

参测模型：三家厂商、两个价位

作者选取了产品中真正会用到的一批模型，横跨三家厂商与两个价位层级：

Gemini 3.7 Flash（Google，快速层）
Gemini 3.1 Pro Preview（Google，顶级层）
Claude Sonnet 4.6（Anthropic）
GPT-5.4 mini（OpenAI，小模型层）

他还排队测试了Claude Opus 5和GPT-5.5，Gemma 4 31B在发布时仍在运行。这几个未能上榜的模型，恰恰带来了整次实验最有价值的一课，后文细说。

结果：面积题全对，EMI题翻车

最终榜单如下：

模型	总分	换算	面积	EMI与税	格式	西式逗号漂移
Gemini 3.7 Flash	1.00	15/15	15/15	15/15	15/15	5%
Gemini 3.1 Pro Preview	0.98	15/15	15/15	14/15	15/15	10%
Claude Sonnet 4.6	0.95	14/15	15/15	13/15	15/15	12%
GPT-5.4 mini	0.92	15/15	15/15	10/15	15/15	10%

真正的难点不是面积，而是复利

作者原本以为面积题会是“血洗”现场——loading百分比、super built-up中carpet占比、gaj换算等。结果每个模型都15题全对。

翻车集中在一个计算器永远不会出错的地方：复利。以案例 e04 为例——₹72,00,000贷款，年利率8.4%，期限25年：

	月供EMI
正确答案	₹57,492
Claude Sonnet 4.6	₹57,487
Gemini 3.1 Pro Preview	₹57,482

GPT-5.4 mini更糟，15道EMI与税务题中错了5道，而其余三组全对。

关键在于，没有一个模型说“大约”。它们给出的是干净、具体、却错误的数字。₹10听起来微不足道，但别忘了这是一笔300个月的贷款，而且这个数字会直接进入贷款方案的横向对比。模型是在“脑子里”做算术，而 (1 + r)^300 这种长链计算，正是心算最容易出错的地方。

作者由此改变了认知：他原本把EMI当作“简单数学”，但对LLM而言，这是最难的一类——长、精确、不容偏差。他现在交付的任何产品里，都是由模型解释公式、由工具来实际计算EMI。

EMI（Equated Monthly Instalment，等额月供）的标准计算公式为：EMI = P × r × (1+r)^n / [(1+r)^n - 1]，其中 P 为本金，r 为月利率（年利率÷12），n 为还款期数（月数）。以案例 e04 为例，P=72,00,000，年利率8.4%则月利率 r=0.007，n=300（25年×12），公式中出现 (1.007)^300 ≈ 8.116 这一长链幂运算。LLM 在"脑算"此类计算时，每一步的微小舍入误差都会沿指数链放大，最终在月供上积累出数十卢比的偏差。相比之下，面积换算属于线性比例运算，误差不会传播，这解释了为何两类题目的准确率呈现出如此鲜明的对比。这也是为什么在金融类应用中，业界最佳实践是让 LLM 仅负责解析用户意图和解释公式逻辑，而将实际数值计算交由确定性代码（如 Python 的 decimal 库或专用金融计算器）执行。

即便是印度语境，模型也会漂向西式逗号

所有题目都以lakh和crore为框架，所有模型在被直接要求格式化时也都通过了显式测试。但仍有5%到12%的回答在中间步骤里写出了类似4,000,000的西式格式。Gemini 3.7 Flash漂移最少（5%），Claude Sonnet 4.6最多（12%），GPT-5.4 mini和Gemini 3.1 Pro都是10%。

这不会让最终答案出错，但正是这种滑动，会让一个深夜11点疲惫的买家把“₹40 lakh”读成“₹4 crore”。

值对了，单位错了

Claude Sonnet 4.6在 c14（“一套₹95 lakh的房子，首付20%，以卢比计是多少”）上答成了**₹19 lakh**。数学没错，但题目要的是卢比。真实用户之所以指定单位，是因为他们要把结果粘贴进表单。

基准先骗了作者：榜单的诚实取决于错误处理

这是整次实验最值得警醒的部分。作者的首轮运行显示 Claude Opus 5只得了0.08，GPT-5.5则完全报错。他差点就据此写了一篇文章。

直到他打开运行日志，才发现每一个失败都是 403 PermissionDeniedError：预估成本超出可用配额。他并行发起请求，昂贵的模型迅速烧穿配额，而评分器把每一次报错的调用都当成了错误答案。Opus 5实际打印出的表格，在它来得及回答的每一组上都是100%。

修复方式是：改为串行调用、加入重试，并且每次运行都会在给出分数前先打印 answered: X of 60（60题中实际回答了多少）。作者宁可撤下两个最贵的模型，也不愿发布一个自己无法背书的数字。

他总结的教训值得所有看榜单的人记住：一个基准分数的诚实程度，只等于它错误处理的质量。如果一个排行榜连实际回答了多少题都说不清，就别信这个排行榜。

403 PermissionDeniedError 属于 API 配额超限错误，通常由并发请求过多或单次运行消耗 token 超出账户余额触发。顶级模型（如 Claude Opus、GPT-5 系列）每百万 token 的调价远高于快速层模型，在并行发起 60 道题的请求时，数秒内即可耗尽预付配额。这一问题在 LLM 基准测试社区中被称为"静默失败"（silent failure）：评分器收到的不是错误答案，而是异常，若不加区分地将其计为 0 分，最终榜单将系统性地惩罚高成本模型，制造出廉价模型"碾压"旗舰模型的假象。正确的做法包括：区分"未作答"与"答错"、记录实际作答率、对 429/403 错误自动重试并回退到串行调用。这一细节在学术界和工业界的 LLM 评测中同样普遍被忽视，是解读任何第三方排行榜时需要优先核查的方法论漏洞。

下一步要测什么

作者列出了几个更具挑战性的方向：

给模型配一个计算器工具。EMI错误会彻底消失，还是模型在“自我感觉良好”时依然跳过工具？
地方性单位。Bigha、guntha、cents在印度不同邦含义不同，比gaj要凶险得多。
分邦印花税与Hinglish混合表述（“72 lakh ka flat, 20% down, EMI kitni?”）。

这套基准、任务与包含全部60个案例和评分器的Notebook均已公开在Kaggle上。作者的邀请很直接：Fork它，加上你所在城市的印花税，告诉他哪个模型算对了你的房贷。

对AI产品构建者的启示

这次测试的价值不在于某个模型排第几，而在于它揭示的模式：模型最擅长的，往往是看起来复杂、实则需要套路化知识的任务（如面积换算）；它最脆弱的，是看起来简单、却要求长链精确计算的任务（如复利EMI）。对任何要把LLM放进金融、地产或任何涉及精确数字场景的开发者而言，结论清晰——让模型负责解释与推理，让确定性工具负责计算。而本地化细节（数字格式、单位、区域规则）同样不能靠模型默认行为兜底。