模型DeiT III / DeiT-3
DeiT III
Meta提出的数据高效视觉Transformer系列模型，通过知识蒸馏和训练策略改进在ImageNet上取得优异性能
时间轴 (近 90 天)
10月13日
在ImageNet-1k监督训练场景中，从头训练的reViT-B/16达到与DeiT III相当的精度，而存储参数减少了约70%。
待验证50%
Meta提出的数据高效视觉Transformer系列模型，通过知识蒸馏和训练策略改进在ImageNet上取得优异性能
在ImageNet-1k监督训练场景中，从头训练的reViT-B/16达到与DeiT III相当的精度，而存储参数减少了约70%。