Register Token

Register Token是Vision Transformer研究中提出的一种机制，通过在输入序列中插入不对应任何实际图像区域的特殊token，为模型提供专属的全局信息处理空间，以解决ViT中部分patch token出现异常高激活值的问题