概念视觉分词 / 像素级文本处理
Visual Tokenization
将文本渲染为图像后交由视觉模型处理的文本表示方法，绕过传统字符切分与词表设计，代表性实现包括PIXEL模型，是对传统分词器的替代探索方向
时间轴 (近 90 天)
9月30日
综述前瞻性讨论了潜在分词（Latent Tokenization）和视觉分词（Visual Tokenization）等可能取代传统分词器的新范式
待验证50%
将文本渲染为图像后交由视觉模型处理的文本表示方法，绕过传统字符切分与词表设计，代表性实现包括PIXEL模型，是对传统分词器的替代探索方向
综述前瞻性讨论了潜在分词（Latent Tokenization）和视觉分词（Visual Tokenization）等可能取代传统分词器的新范式