在完全相同的GPU和相同的数据下，训练GPT-2的成本从最初的数百美元级别降到了大约一百美元，靠的是算法、数据和kernel层面的技术改进。