TOON
一种专为 LLM 上下文压缩设计的序列化格式,通过批量声明字段减少重复字段名,显著降低 token 消耗
时间轴 (近 90 天)
在 10 行、每行 4 个字段的规整表格数据测试中,使用 cl100k_base tokenizer 编码,JSON 为 323 个 token、963 个字符,YAML 为 221 个 token、590 个字符,YAML 领先 31.6%;TOON 格式为 97 个 token、235 个字符,比 JSON 少 70%,比 YAML 少 56.1%。
对于嵌套、非规整数据(应用配置、单对象带子对象),YAML 和 TOON 的体量几乎一致,因为 TOON 规范借用了 YAML 的缩进语法处理非表格结构;规整的对象数组是 TOON 的主场,优势明显。
一个实用的工程模式是:系统内部实际流转的数据保持 JSON,只把交给模型的文本转成 YAML 或 TOON,然后要求模型用 JSON 格式返回任何需要回到代码里的内容。
全部知识事实 (3)
在 10 行、每行 4 个字段的规整表格数据测试中,使用 cl100k_base tokenizer 编码,JSON 为 323 个 token、963 个字符,YAML 为 221 个 token、590 个字符,YAML 领先 31.6%;TOON 格式为 97 个 token、235 个字符,比 JSON 少 70%,比 YAML 少 56.1%。
50%待验证对于嵌套、非规整数据(应用配置、单对象带子对象),YAML 和 TOON 的体量几乎一致,因为 TOON 规范借用了 YAML 的缩进语法处理非表格结构;规整的对象数组是 TOON 的主场,优势明显。
50%待验证一个实用的工程模式是:系统内部实际流转的数据保持 JSON,只把交给模型的文本转成 YAML 或 TOON,然后要求模型用 JSON 格式返回任何需要回到代码里的内容。
50%