概念模型维度 / 隐藏层维度
d_model
Transformer模型中表示每个token的向量维度，也是模型内部所有层共享的隐藏层宽度，决定注意力投影尺寸和前馈网络扩展比例。
时间轴 (近 90 天)
10月28日
在Transformer编码器中，输入矩阵的形状是(tokens × d_model)，经过每一层后输出的形状完全一样。
待验证50%
10月28日
d_model是Transformer中表示每个token的向量维度，也是模型内部所有层共享的隐藏层宽度。
待验证50%
10月28日
在《Attention Is All You Need》论文中，base模型的d_model取512。
待验证50%
10月28日
一个6个token的序列输入d_model=512的编码器时，会形成一个6×512的矩阵。
待验证50%
9月15日
每个 Token 通过查询 Embedding Table 转换成一个 d_model 维向量，N 个 Token 组成 N × d_model 的输入矩阵
待验证50%
全部知识事实 (5)
待验证
在Transformer编码器中，输入矩阵的形状是(tokens × d_model)，经过每一层后输出的形状完全一样。
50%待验证d_model是Transformer中表示每个token的向量维度，也是模型内部所有层共享的隐藏层宽度。
50%待验证在《Attention Is All You Need》论文中，base模型的d_model取512。
50%待验证一个6个token的序列输入d_model=512的编码器时，会形成一个6×512的矩阵。
50%待验证每个 Token 通过查询 Embedding Table 转换成一个 d_model 维向量，N 个 Token 组成 N × d_model 的输入矩阵
50%