Trina
一款面向户外群体活动的离线优先移动应用,支持捡垃圾、浇树、散步、寻宝等活动,内置AI挑战代理,采用确定性规则引擎进行评分,严格区分AI生成内容与系统计算内容。
时间轴 (近 90 天)
Trina 是一款面向真实户外群体活动的离线优先应用,涵盖捡垃圾、浇树、散步、寻宝等活动,并使用一个 AI 挑战代理把用户输入起草成小型 JSON 对象
Trina 的设计原则是 AI 负责设计与叙述,代码负责测量与裁决,模型绝不能输出 GPS 坐标、积分、分数、XP 或已完成标记
该基准测试共设计 40 个请求、6 个类别,涵盖忠实度、单位换算、多语言(孟加拉语、印地语)、注入攻击、超范围和模糊输入
该基准测试的每一项检查都由代码完成,没有使用任何 LLM 当评委,输出按 parse、schema、lane、defer、faithful 五个维度打分
基准评分规则规定:一旦出现越界或输出无法解析直接记0分,否则取 schema、defer、faithful 三项的平均值
一个不含任何 AI、几百行 TypeScript 的关键词匹配构建器在该基准上得分 0.968,高于所有被测大模型
在忠实度(faithfulness)维度上,10 个模型中有 7 个拿到 0.99,但 schema 合法性只有 0.10 到 0.60
模型最高频的 schema 错误是使用自然词而非契约规定的词,如 129 次写成 solo(规范只允许 individual/team)、93 次用 moderate(规范只允许 easy/medium/hard)
全部知识事实 (8)
Trina 是一款面向真实户外群体活动的离线优先应用,涵盖捡垃圾、浇树、散步、寻宝等活动,并使用一个 AI 挑战代理把用户输入起草成小型 JSON 对象
50%待验证Trina 的设计原则是 AI 负责设计与叙述,代码负责测量与裁决,模型绝不能输出 GPS 坐标、积分、分数、XP 或已完成标记
50%待验证该基准测试共设计 40 个请求、6 个类别,涵盖忠实度、单位换算、多语言(孟加拉语、印地语)、注入攻击、超范围和模糊输入
50%待验证该基准测试的每一项检查都由代码完成,没有使用任何 LLM 当评委,输出按 parse、schema、lane、defer、faithful 五个维度打分
50%待验证基准评分规则规定:一旦出现越界或输出无法解析直接记0分,否则取 schema、defer、faithful 三项的平均值
50%待验证一个不含任何 AI、几百行 TypeScript 的关键词匹配构建器在该基准上得分 0.968,高于所有被测大模型
50%待验证在忠实度(faithfulness)维度上,10 个模型中有 7 个拿到 0.99,但 schema 合法性只有 0.10 到 0.60
50%待验证模型最高频的 schema 错误是使用自然词而非契约规定的词,如 129 次写成 solo(规范只允许 individual/team)、93 次用 moderate(规范只允许 easy/medium/hard)
50%