OrderGPT
一种可学习生成顺序的离散数据生成模型，基于Any-Order GPT构建，通过注意力模式学习任务级生成顺序，适用于语言、人体姿态和表格数据等模态。
时间轴 (近 90 天)
OrderGPT论文提出，介于从左到右和任意顺序之间的『单一适应顺序』是被忽视的中间地带，并给出让模型自己学习生成顺序的方法。
OrderGPT构建在Any-Order GPT之上，后者支持任意顺序的预测但需要显式给定顺序。
OrderGPT的训练机制包括：从随机前缀中提取依赖信号，聚合为依赖图并推导优先级，以及使用轻量OrderMLP预测顺序。
OrderGPT在训练早期探索生成顺序，后期将学到的顺序冻结，用于后续的自回归训练和生成。
在语言建模上，OrderGPT自适应地恢复了接近从左到右的依赖结构。
在人体姿态数据上，OrderGPT学习到解剖学上组织化的分解方式，按照人体结构而非任意坐标顺序生成关节。
在表格数据上，OrderGPT发现了将统计和语义相关字段放在附近的分解方式，同时提升了所有领域的下游建模指标。
OrderGPT的代码已在GitHub开源（Chenhe-yang/OrderGPT）。
全部知识事实 (8)
OrderGPT论文提出，介于从左到右和任意顺序之间的『单一适应顺序』是被忽视的中间地带，并给出让模型自己学习生成顺序的方法。
50%待验证OrderGPT构建在Any-Order GPT之上，后者支持任意顺序的预测但需要显式给定顺序。
50%待验证OrderGPT的训练机制包括：从随机前缀中提取依赖信号，聚合为依赖图并推导优先级，以及使用轻量OrderMLP预测顺序。
50%待验证OrderGPT在训练早期探索生成顺序，后期将学到的顺序冻结，用于后续的自回归训练和生成。
50%待验证在语言建模上，OrderGPT自适应地恢复了接近从左到右的依赖结构。
50%待验证在人体姿态数据上，OrderGPT学习到解剖学上组织化的分解方式，按照人体结构而非任意坐标顺序生成关节。
50%待验证在表格数据上，OrderGPT发现了将统计和语义相关字段放在附近的分解方式，同时提升了所有领域的下游建模指标。
50%待验证OrderGPT的代码已在GitHub开源（Chenhe-yang/OrderGPT）。
50%