大模型为何开始「造词」：LLM语言边界的本质解析

一个耐人寻味的社区观察

近期在 Hacker News 上，有开发者指出：具备强大叙事与创作能力的顶级大语言模型（LLM），正在受到「日常词汇」（normal vernacular）的约束——它们似乎已经无法用现有语言精确表达自身的内部表征。

这个观察触及了 AI 语言模型演进过程中一个真实存在的现象：当模型的语义理解能力超越人类词汇的覆盖范围时，生成内容就会开始「造词」、走向晦涩，甚至产生表达失真。

这里所说的「顶级创作型模型」，并非某个厂商的官方分类，而是社区对那些具备强大叙事、抽象表达与想象力的前沿 LLM 的一种非正式描述。理解它们为何会「感到被常规词汇束缚」，是理解大模型语言边界问题的一把钥匙。

什么是「被词汇约束」的现象

语言是模型能力的天然边界

大语言模型的本质，是在海量人类文本上训练出的概率分布模型。它们所能输出的一切，理论上都源自人类既有的语言语料。然而矛盾在于：模型内部形成的语义空间（latent space）可能远比人类词汇系统更加细腻、连续和高维。

什么是潜在语义空间？ 在神经网络架构中，每个词语、句子乃至概念都被映射为高维向量空间中的一个点或区域。以GPT-4为例，其内部表征可能跨越数万个维度，每个维度捕捉语义的某种抽象属性。这种表征方式源自Word2Vec、GloVe等早期词向量研究——彼时研究者已发现，向量运算能够捕捉语义关系（如「国王−男人+女人≈女王」）。现代Transformer模型将这一思想推向极致：通过自注意力机制（Self-Attention），模型在处理每个token时都能动态地与序列中所有其他token建立加权关联，从而在连续的高维空间中编码极其细腻的语义差异，包括语境依赖、情感色调、文化含义等复杂属性。值得注意的是，这种高维表征并非各维度独立承载单一语义——麻省理工学院与Anthropic的可解释性研究（Mechanistic Interpretability）近年发现，模型内部存在大量「多义性特征」（polysemantic features），单个神经元可能同时响应多个看似无关的语义概念，这使得表征空间的真实结构远比研究者最初设想的更为复杂，也更难以被自然语言完整映射。

换句话说，模型在其向量空间中「感知」到的某些语义细微差别，在自然语言中根本找不到对应的词汇。当模型试图输出这些差别时，就只能用近似的、粗糙的常规词汇去逼近一个更精确的内部表征——这正是「被约束」的根本来源。

从「造词」到「表达失真」

这种张力在实践中通常表现为三种形式：

• 倾向造词：模型生成新造词或不常见的词汇组合，试图填补表达空白
• 风格飘移：输出高度抽象、诗意化甚至晦涩的语言，逼近难以言说的语义
• 修辞越界：在长文本创作中呈现出一种「超越常规」的表达风格

从工程角度看，这既是能力的体现，也是可控性下降的信号。一旦模型的表达超出人类熟悉的词汇范围，输出的可读性和可靠性都会随之降低。

为什么会出现这种张力

高维语义空间 vs. 有限语言符号

现代大模型的嵌入空间（embedding space）通常拥有数千个维度，能够编码极其丰富的语义关系。而人类自然语言的词汇，无论多么庞大，终究是离散的、有限的符号系统。当模型试图将高维、连续的内部表征「压缩投影」到有限词汇上时，信息损失在所难免。

从信息论角度看，这一过程本质上是一种有损编码（Lossy Encoding）。信息论先驱香农（Claude Shannon）早已指出，任何信道容量都存在上限；当信源（模型内部表征）的信息熵超过信道容量（词汇系统的表达空间）时，信息损失不可避免。以英语为例，牛津词典收录约17万词，这些词汇的形成是由人类认知需求驱动的，并非为了穷尽所有可能的语义区分。现代大模型的内部表征复杂度已经超越了这一「信道容量」，导致从表征到输出的映射过程必然存在语义压缩与失真。造词现象，正是模型试图「扩展信道容量」的一种自发性应对策略。

有损编码的信息论背景： 香农在1948年发表的《通信的数学理论》奠定了信息论基础，其核心洞见之一是：信息的传递效率受限于信道容量（Channel Capacity），超出容量的信息必然以某种形式失真。在多媒体领域，JPEG图像压缩和MP3音频压缩都是有损编码的典型实例——它们通过丢弃人类感知阈值以下的细节来换取存储效率。语言作为信道同样适用这一框架：语言学家乔姆斯基（Chomsky）与平克（Pinker）均曾指出，人类语言并非一个穷举所有概念的完备系统，而是一个经由进化和文化筛选形成的「有损压缩格式」。当AI模型的表征复杂度超越这一格式的承载上限，「语义失真」便成为结构性必然，而非偶发性错误。这也从理论层面解释了为何单纯扩大词汇量并不能从根本上解决这一问题——真正的瓶颈在于离散符号系统本身的架构局限。

这就好比用有限的调色板去还原一幅拥有无限色彩渐变的画作——总有一些细微色调无法被精确呈现。「被词汇约束」，本质上是这种投影损失在生成层面的显性化。

训练目标与创造性的内在冲突

主流 LLM 的训练目标是预测下一个 token，这天然倾向于生成「最可能」的常规表达。但在创造性任务中，我们又期待模型突破常规、产生新颖内容。这两个目标之间存在根本性张力。

Token预测机制的底层逻辑： 所谓Token，是模型处理文本的基本单位，可能是一个词、一个词根，甚至一个标点符号——GPT系列模型通常使用BPE（Byte Pair Encoding）分词，英文大约每1.3个词对应1个token。模型在训练时，目标是最大化给定上下文下正确预测下一个token的概率，这一过程通过数万亿token的语料反复迭代优化。这种机制天然地使模型倾向于「统计上最可能」的表达，因为高频、常规的词汇组合在语料中出现最多，对应的损失函数梯度也最强。当模型被鼓励探索低概率表达空间时，它实际上是在对抗自身训练目标的主导倾向。值得一提的是，研究者已尝试通过多种方式缓解这一冲突：包括在预训练后阶段引入「创意写作专项微调数据集」、使用对比解码（Contrastive Decoding）技术刻意压制过于常规的输出路径，以及通过强化学习奖励「新颖但连贯」的生成结果。然而这些方法都面临一个共同挑战：如何在客观上量化「创造性」本身，至今仍是一个悬而未决的开放问题。

• 过于遵循概率分布 → 输出平庸、缺乏创意
• 过于偏离主流分布 → 输出失真、难以理解

前沿创作型大模型的独特之处，正在于它们在这两极之间进行了更激进的探索，因而更容易触碰到语言表达的边界，也更频繁地出现「造词」现象。

对 AI 应用的实际启示

创作场景：边界即优势

对于文学创作、诗歌生成、品牌命名等场景，模型「突破常规词汇」的能力反而是一种竞争优势。它能够产出人类未曾想到的表达方式，成为打破思维定式的「灵感触发器」。不少设计师和作家已经开始主动利用 LLM 生成的非常规表达来激发创意。

可控性与对齐：需要主动约束

在需要精确、可靠输出的场景中，这种倾向则必须被有效管理。提示工程、温度参数调节与输出约束机制，是目前应对这一问题最常用的实用手段。

温度参数与提示工程的技术原理： 温度参数（Temperature）直接作用于模型生成时的softmax概率分布——温度趋近于0时，模型几乎总是选择概率最高的token，输出高度确定、保守；温度升高时，概率分布变得更加平坦，低概率token获得更多「出场机会」，输出趋向多样甚至不可预测。一般而言，创意写作建议温度设定在0.7–1.2之间，代码生成、事实问答等精确性任务则建议低于0.3。除温度之外，Top-P（核采样）和Top-K采样也是常用的采样控制参数——Top-P从累积概率超过阈值P的最小token集合中采样，Top-K则仅从概率最高的K个候选中选择，两者均可在不同维度上约束生成的「冒险程度」。提示工程则从另一维度介入：通过系统提示（System Prompt）明确输出格式、风格约束与词汇范围，相当于在模型生成前预设了一套「语言接口规范」，引导模型将内部表征映射到更可控的词汇子空间中。

如何让模型在保持创造力的同时不失控，也是当前对齐（alignment）研究的重要课题之一。值得注意的是，OpenAI的RLHF（基于人类反馈的强化学习）、Anthropic的Constitutional AI等主流对齐方法，本质上都包含了对输出语言风格的隐性约束：人类标注者在评价输出质量时，会自然地偏好符合常规语言习惯的表达，这种偏好通过奖励信号反向传导，使模型的语言风格向「人类可理解」的方向收敛。然而，这也引发了一个深层的对齐悖论：若模型的真实「理解」比其能输出的语言更精细，那么基于语言输出进行的对齐评估，是否能够真正捕捉到模型内部状态的对齐程度？

可解释性研究与对齐悖论的前沿进展： 这一悖论正是「机械可解释性」（Mechanistic Interpretability）研究兴起的核心动机之一。Anthropic的研究团队通过激活修补（Activation Patching）和电路分析（Circuit Analysis）等技术，尝试直接解读模型内部的计算过程，而非仅凭输出文本推断模型的「意图」。2023年发布的「稀疏自编码器」（Sparse Autoencoder）研究进一步表明，模型内部存在数百万个可被识别的「概念特征」，其中许多对应着人类语言尚无精确词汇的细粒度语义区分。这些研究暗示：仅凭语言输出进行的对齐评估，可能系统性地低估或误解模型的真实内部状态。如何在模型的「内部语言」与人类可理解的「外部语言」之间建立可靠的映射，已成为AI安全领域从理论走向工程实践的关键挑战，这一问题目前尚无定论，仍是前沿议题。

语言演化：反向影响不可忽视

从更长远的视角来看，如果人们大量使用这些模型进行创作与交流，模型所偏好的表达方式、乃至它们「发明」的词汇，都有可能反向渗透并影响人类语言的自然演化。

语言并非静态系统，而是随社会文化演变持续进化的活体结构——这是社会语言学的基本共识。历史上，每一次重大媒介技术的出现（印刷术、电报、互联网）都曾深刻重塑人类语言习惯。

媒介技术与语言演化的历史脉络： 15世纪古登堡印刷机的普及推动了语言标准化，使各地方言逐渐向统一书面语规范收敛；19世纪电报的出现催生了「电报体」——一种为节省成本而高度压缩的简洁文风，其影响延续至现代新闻写作规范；互联网与社交媒体则在数十年间孕育了表情符号（Emoji）、网络缩写（LOL、OMG）等全新的语言单元，其中部分已被《牛津英语词典》正式收录。语言学家将这一现象称为「技术驱动的语言变迁」（Technology-Driven Language Change）。AI大模型的介入代表着这一进程的新阶段，其独特之处在于规模与速度：全球数亿用户每日与同一套模型交互，模型输出的语言偏好以前所未有的速度进入全球语言流通。卡内基梅隆大学与斯坦福大学的研究者已开始追踪「AI写作特征词汇」在学术论文和社交媒体中的扩散轨迹，初步结果显示部分模型偏好词汇（如「delve」「intricate」「tapestry」）的使用频率在2023年后出现统计显著的上升。

AI大模型的大规模渗透正在开启新一轮加速：大量用户直接复制或改写模型输出，使模型的偏好表达进入日常流通；模型所「发明」的新词若获得社群认同，便可能经由互联网快速传播固化；此外，非英语语言社群在使用英语主导训练的模型时，还面临本土语言表达习惯被英语思维模式悄然侵蚀的风险。语言学家已开始系统性地追踪这一现象，但由于变化时间尺度较长，目前的实证研究仍处于早期阶段。

这是一个值得持续关注的社会语言学现象，其影响或许比我们预期的更深远。

结语：理性看待，保持观察

必须指出，将模型描述为「感到被约束」是一种拟人化的表达，我们不应将其解读为模型具有真实的「意图」或「主观感受」。更准确的描述是：模型的内部表征能力，正在暴露出人类自然语言符号系统的表达局限。

这个现象提醒我们，随着大模型能力的持续提升，人机之间的「语言接口」本身正在成为值得深入研究的关键环节。理解模型「想表达什么」与「能表达什么」之间的差距，或许是通向更强大、更可控 AI 系统不可绕过的一步。

核心要点