格鲁吉亚语基准测试：OpenAI与Anthropic的硬核较量

一位格鲁吉亚开发者用一门世界上语法最复杂的语言，对OpenAI与Anthropic的八款模型发起了挑战。结果揭示了大语言模型一个被普遍忽视的真相：理解一门小语种和正确地生成这门语言，是两件完全不同的事。

格鲁吉亚语基准测试

为什么选格鲁吉亚语做测试

格鲁吉亚语是世界上最古老的语言之一，拥有独立的字母系统，不属于任何主流语系。它的辅音簇密集到令人发指——作者举例的 გვფრცქვნი（意为"你剥我们的皮"）一个词里连续排列了八个辅音。更棘手的是它的语法深度：一个动词 მიყვარხარ 就能表达"我爱你"，同时编码施事、受事和时态。

作者本人是格鲁吉亚语母语者兼语言爱好者，却坦言连大多数格鲁吉亚人都无法毫无语法错误地使用这门语言。正因如此，这门语言成了检验大模型生成能力的理想试金石——它在训练语料中资源稀少，且规则极其不规则。整个数据集由作者手工从零编写，没有机器翻译、没有生成文本，并由语言学专家审校。

格鲁吉亚语动词体系之所以特别难以生成，在于它采用"多人称一致"（polypersonal agreement）机制：一个动词词形必须同时编码主语、直接宾语、间接宾语的人称与数，加上时态、体（aspect）和语气，由此产生的变位组合可达数千种。与此同时，格鲁吉亚语使用独特的格体系（screeve），将时态与体紧密绑定，而非像印欧语言那样分离处理。这意味着模型不能简单地"查表"替换词尾，而必须理解语义角色之间的拓扑关系，才能输出正确形式。训练语料极度稀缺（相比英语约少三至四个数量级）加上规则本身的不规则性，使得格鲁吉亚语成为测试"生成能力上限"的近乎理想的语言。

五项任务：从阅读到生成

基于 Kaggle Benchmarks 平台，作者设计了五个维度的测试，每个模型共需回答 287 道计分题：

任务设计

数字（158题）：格鲁吉亚语采用二十进制计数，99 要说成"四个二十加十九"，还涉及序数词、分数、小数以及高达 10³⁹ 的大数，双向转换（数字转词、词转数字）。
动词（50题）：判断一个动词形式中"谁对谁做了什么"，构造正确动词形态，选择正确前缀。
翻译（12段）：格鲁吉亚语译成英语，由不参与评测的 Gemini 3 Flash 作为裁判模型，按 0–4 分级比对语义而非字面。
完形填空（50空）：给出 30 个词典形式的单词（含 5 个干扰项），要求填入正确的词并变位成正确语法形态。
纠错（17段）：修正植入的语法、拼写、标点错误，但不能改动本来正确的部分。过度纠正会被扣分。

纠错任务的评分设计尤为巧妙：按词级差异计算修改前后与正确文本的距离，score = max(0, (errors_before - errors_after) / errors_before)，把正确词改错同样会拉低分数，像一位严格的老师。

预算约束下的工程取舍

作者最初的计划堪称野心勃勃：九个维度、Kaggle 目录里全部 41 个模型，预估全量跑一遍约需 345 美元。但他随后发现 Kaggle 的模型额度机制是每天免费 10 美元，不能用自己的钱充值——压根没有"添加资金"按钮。

这一个约束重塑了整个项目：41 个模型砍到 8 个，9 个维度砍到 5 个，数据集也被裁剪。裁剪方式本身也体现了工程思维——用一个廉价的"探针模型"跑完整数据集，保留所有它答错的题目，丢弃部分过于简单的，大数部分则原样保留。最终 186 行数字题精简为 82 行、115 道动词题留下 50 道。

整个项目完整跑下来的实际花费是 13.84 美元，其中值得玩味的是：每次推送任务时 Kaggle 都会自动在默认模型 Gemini 3.7 Flash 上跑一次并计费，这些自动运行累计花掉近 3 美元，比最终对比运行的一半还多。教训很直接：本地测试，少推送。

测试模型与公平规则

八款模型来自 Anthropic 与 OpenAI，按能力分四档配对：

档位	Anthropic	OpenAI
轻量	Claude Haiku 4.5	GPT-5.4 mini
中档	Claude Sonnet 4.6	GPT-5.4
顶级	Claude Opus 4.8	GPT-5.5
最新 ⚡	Claude Opus 5	GPT-6 Astra

为保证公平，所有模型一律关闭思考（thinking），直接作答——因为混用思考与非思考模型会让比较失去意义。但最新一对出现了意外：GPT-6 Astra 根本不支持关闭思考，只能设为最低档"low"，于是 Claude Opus 5 也同样设为"low"，二者在相同条件下对决，并在面板中全程标记为 ⚡。

其他规则还包括：失败调用超过 5% 就不报任何分数（避免把"没钱跑完"伪装成"模型差"）、翻译固定由 Gemini 3 Flash 评判、纠错给予部分分。

核心发现：理解已解决，生成仍是难题

完整成绩如下：

模型	数字	动词	翻译	完形	纠错	平均	成本
Claude Haiku 4.5	0.30	0.34	0.96	0.54	0.25	0.48	$0.10
GPT-5.4 mini	0.41	0.42	1.00	0.52	0.67	0.60	$0.05
Claude Sonnet 4.6	0.39	0.52	1.00	0.76	0.44	0.62	$0.29
GPT-5.4	0.46	0.54	1.00	0.88	0.66	0.71	$0.15
Claude Opus 4.8	0.54	0.68	1.00	0.84	0.68	0.75	$0.58
GPT-5.5	0.51	0.60	0.98	0.88	0.74	0.74	$0.30
Claude Opus 5 ⚡	0.65	0.84	1.00	0.86	0.77	0.82	$1.22
GPT-6 Astra ⚡	0.83	0.90	0.98	0.96	0.82	0.90	$1.73

最醒目的结论是翻译一列：所有模型都在 0.96 到 1.00 之间。 它们都能近乎完美地把格鲁吉亚语译成英语。但一旦要求模型生成正确的格鲁吉亚语——构造数字、变位动词、填入正确词形、修正句子——分数就断崖式下跌。在不思考的条件下，连最强的 Claude Opus 4.8 都答错了近一半的数字题。

数字是最终 Boss

数字任务对 8 个模型中的 6 个来说都是最难的。细分之下差距惊人：读格鲁吉亚语数字转数字跑分在 0.74–0.96，但"词转数字的序数"一项跨度高达 0.04 到 0.92，巨大数字（10¹⁵ 到 10³⁹）更是只有 0.06 到 0.53。原因在于格鲁吉亚语序数在数字写法上有前缀/后缀之分（მე-18 对比 21-ე），多数模型套用了见得更多的那种模式。面对 მე-40000（四万分之一），8 个模型里只有 2 个答对。

格鲁吉亚语采用二十进制（vigesimal）数字系统，这在世界语言中属于少数派——与之类似的有法语（80 = "四个二十"）和玛雅数字，但格鲁吉亚语的实现更为复杂。例如，数字 97 须表达为 ოთხმოცდაჩვიდმეტი，即"四×二十加十七"，每一层级都有专属的合成规则。序数词的前缀/后缀区分（მე- 前缀用于较小序数，-ე 后缀用于复合序数）是一条上下文敏感规则，模型极易因过度泛化训练中更常见的模式而犯错。对于 10¹⁵ 以上的巨大数字，格鲁吉亚语语料在互联网上几乎不存在，模型实质上是在"零样本外推"，这解释了为何得分如此之低。

错误"非常格鲁吉亚"

作者最喜欢的部分是读那些错误答案——它们并不随机，而是像"用别处的语法去说格鲁吉亚语"：

"我爱上了你"应是倒装动词 შემიყვარდი（字面"你变成了我所爱"），只有 GPT-6 Astra 答对，其余大多构造成普通及物动词。
"我们坐下了"用的是复数专属词根 ვისხედით，作者植入的错误形式 ვიჯექით，没有一个模型修正。
"一百万"就是 მილიონი，多数模型却写成 ერთი მილიონი（"一个百万"）。

成本与token：格鲁吉亚语对 Claude 更贵

相同的提示词、相同的格鲁吉亚语文本，Claude 模型消耗的输入 token 是 GPT 的 2 到 2.6 倍。数字任务中 Claude 每次调用约 272 token，GPT 仅 104；完形填空分别是 1412 对 699。部分源于各家的答案格式指令，部分源于各自分词器切分格鲁吉亚文字的方式不同。实际意味着：对 Claude 用户而言，一个格鲁吉亚语提示的真实成本明显高于单价所暗示的水平。

按"每个正确答案的成本"算，GPT-5.4 mini 以每个正确答案 0.03 美分成为性价比之王；GPT-6 Astra 虽拿下最高分，单位成本却是前者的约 21 倍。

彩蛋：不请自来的 Gemini

那个每次推送都被自动运行的 Gemini 3.7 Flash，虽不在正式对比中，却悄悄跑出约 0.89 的平均分，仅次于 GPT-6 Astra。关键在于：即便思考设为"none"，它每道数字题仍写约 480 个输出 token（无思考模型只写约 16 个），似乎根本停不下来。由此引出一个有趣结论——对格鲁吉亚语这类语言，思考能力可能比模型规模更重要，表中最强的两个模型恰恰都开着"low"级思考。

Token 消耗差异的根源在于分词器（tokenizer）设计策略。主流大模型通常使用字节对编码（BPE）或类似算法，针对高频语言（尤其是英语）优化词表。格鲁吉亚语字母表（Mkhedruli）共33个字母，因在训练语料中出现频率极低，分词器往往无法将其聚合成高效的多字符 token，而是退化为逐字节或逐字符切分，导致相同语义内容占用远多于英语的 token 数。Claude 与 GPT 分词器对格鲁吉亚文字的处理策略不同，正是造成 2–2.6 倍 token 差距的直接原因。这一现象并非格鲁吉亚语独有——阿拉伯语、泰语、格鲁吉亚语等非拉丁文字语言普遍面临"token 膨胀"问题，用户在估算 API 成本时需格外注意。

结论与局限

最终战绩：OpenAI 赢下 4 档中的 3 档，Anthropic 唯一的胜场（顶级档 0.75 对 0.74）基本是平手。最新一对里 GPT-6 Astra 以 0.90 对 0.82 领先，拿下全场最高分，在数字项上的领先尤其巨大。

作者也诚实列出了局限：数据集"故意偏难"，保留的多是模型答错的题，绝对分数偏低，排名才是有意义的部分；部分任务只有 12–17 题，几分之差不具统计显著性；每个模型只跑一次，重复运行每项约有 ±0.03 的波动；翻译分数依赖裁判模型的判断。

这项由个人在严苛预算下完成的基准测试，为低资源语言的模型评测提供了一个值得借鉴的方法论样本：手工构建高质量数据集、用探针模型做难度筛选、以严格的工程手段保证公平对比。它也点出了一个超越格鲁吉亚语本身的洞察——当下大模型的瓶颈不在于"看懂"，而在于"写对"。