基准
OpenWebText
一个常用的文本数据集，用于语言模型训练和评估。
时间轴 (近 90 天)
10月22日
在OpenWebText数据集上，循环UDLM达到与非循环UDLM相同的验证NLL时，仅需约非循环模型0.5万亿token训练量对应FLOPs的1/2.8。
待验证50%
10月21日
在语言建模任务（Text8、TinyStories、OpenWebText）上，二进制扩散保持竞争力但并未显著超越基线。
待验证50%
9月12日
GPT-2 在 OpenWebText 数据集上的验证损失约为 3.28，折合困惑度约 26.6
待验证50%