Dấu or Die
由越南语开发者Tuan Nguyen构建的Kaggle基准测试，专门评估大语言模型还原越南语声调符号（dấu）的能力，测试LLM对低资源声调语言的上下文理解与语境推理水平
时间轴 (近 90 天)
越南语开发者Tuan Nguyen构建了名为Dấu or Die的Kaggle基准测试，用于测试大语言模型能否还原被去掉的越南语声调符号
该基准测试包含37个手写句子，分为everyday、ambiguous、idiom、code_mixed、proper_noun五个类别
评测流程使用Unicode NFD归一化自动剥离声调并把đ映射为d，评分完全确定性，不使用LLM作为裁判
关键指标headline score指完全还原正确的句子占比，只要有一个声调错整句就算错，测试基于kaggle-benchmarks库搭建
对于生产环境的加回声调功能，小模型是明智选择，前提是选对合适的小模型
精确匹配指标无法区分差一点但语义正确与完全错误的输出，作者计划未来版本为每句接受一组有效答案
全部知识事实 (6)
越南语开发者Tuan Nguyen构建了名为Dấu or Die的Kaggle基准测试，用于测试大语言模型能否还原被去掉的越南语声调符号
50%待验证该基准测试包含37个手写句子，分为everyday、ambiguous、idiom、code_mixed、proper_noun五个类别
50%待验证评测流程使用Unicode NFD归一化自动剥离声调并把đ映射为d，评分完全确定性，不使用LLM作为裁判
50%待验证关键指标headline score指完全还原正确的句子占比，只要有一个声调错整句就算错，测试基于kaggle-benchmarks库搭建
50%待验证对于生产环境的加回声调功能，小模型是明智选择，前提是选对合适的小模型
50%待验证精确匹配指标无法区分差一点但语义正确与完全错误的输出，作者计划未来版本为每句接受一组有效答案
50%