Qwen4架构的嵌入层用当前词加前几个词查表，增加了510亿参数却几乎不增加算力，且该表可放在主机内存，不占显存。