概念Character-level Modeling
字符级建模
一种语言建模粒度，以单个字符作为最小输入单元，无需分词器，词表极小，适合观察模型学习拼写规律，但序列更长。
时间轴 (近 90 天)
10月24日
DinoGPT 采用字符级建模，词表为 26 个英文字母加上少量标点符号。
待验证50%
10月24日
字符级建模与 GPT 系列常用的 BPE 子词分词不同：子词分词能压缩序列长度、捕捉常见词片段，但需要额外训练分词器。
待验证50%
一种语言建模粒度，以单个字符作为最小输入单元，无需分词器，词表极小，适合观察模型学习拼写规律，但序列更长。
DinoGPT 采用字符级建模，词表为 26 个英文字母加上少量标点符号。
字符级建模与 GPT 系列常用的 BPE 子词分词不同：子词分词能压缩序列长度、捕捉常见词片段，但需要额外训练分词器。