LLM工作原理详解：大语言模型如何逐词生成回答

一个熟悉的场景

当你对AI说"周末想去海边"，它会顺势接着说"天气不太好，还没订酒店"，仿佛已经猜到了你后面想说什么。很多人会觉得AI就像一个特别会聊天的人——读过大量材料，能根据前文判断出什么表达最自然。

这个直觉并不算错，但要真正理解大语言模型（LLM，Large Language Model）的工作原理，我们需要拆解它"接话"背后的底层逻辑。LLM并不是在翻找一个现成的答案，而是在持续地生成。

所谓LLM，指的是负责处理和生成语言的大模型。它在训练过程中，从海量文本里学习语言的模式和词与词之间的关联。这种学习让它掌握了一种核心能力：给定一段文字，判断接下来最可能出现什么。

逐词生成：概率驱动的接龙游戏

LLM生成文字的过程，本质上是一场概率接龙。它的运作可以拆分为几个关键步骤：

从文字到Token

模型无法直接理解文字，它首先会把输入的文字切分成一个个"Token"（可以粗略理解为词或字的片段）。这些Token构成了模型处理语言的基本单位。

计算下一个Token的概率

模型会根据当前的Token序列，计算下一个Token的概率分布，然后把概率最高的那个Token生成出来。生成之后，这个新Token会被加回到输入序列中，模型再基于更新后的序列计算下一个Token——如此循环往复，逐步拼出完整的回答。

以"周末海边"为例：模型先根据上下文生成"天气"，把它加回输入后，再生成"可能不好"，就这样一步步形成了流畅的完整句子。你以为它是在整体规划一句话，实际上它是在一个Token一个Token地"往下猜"。

流畅不等于真实

这里有一个至关重要的认知：模型的输出本质上是一个概率结果。它选择的是"最可能出现"的下一个Token，而不是"经过事实核验的正确答案"。这意味着，回答读起来越流畅、越自然，并不代表内容就一定真实。这正是大语言模型"一本正经胡说八道"（幻觉）现象的根源。

记住这三个核心要点

关于LLM的工作原理，可以浓缩为三句话：

1. LLM是负责处理和生成语言的大模型，它的核心任务是理解和产出自然语言。
2. 它结合当前的输入持续预测、生成后续内容，采用的是逐Token滚动生成的方式。
3. 它生成的内容不一定真实，流畅的表达背后是概率驱动，而非事实核验。

理解这三点，能帮助我们在使用AI时保持恰当的预期——把它当作一个强大的语言生成工具，而不是一个绝对可靠的知识数据库。

动手实践：同一开头的不同续写

为了直观验证"生成而非检索"这一结论，我们打开华为云CodeArts码道做了一组小实验。核心思路是：用同一句开头，配合不同的提示词，观察AI续写结果的变化。

第一组：极简提示

只输入"春眠不觉晓"，提示词非常简短。由于发挥空间极大，模型可能接着背出熟悉的原诗，也可能生成全新的内容。实验中，Agent续写了熟悉的原诗。这说明：提示词越短，模型的自由度越高，但生成结果也越不稳定。

第二组：增加风格限制

接着我们加上要求："请续写一句古诗风格的内容，但不要使用原诗"。增加了风格和限制条件之后，Agent生成了一句全新的诗句。可见，补充具体要求能让生成方向变得更加明确。

第三组：改变语境

最后我们要求"把这句话续写成一段科幻故事"。这一次，Agent结合前文和新的要求，把结果转向了一个末日科幻故事。上下文越丰富，生成结果越具体，但同时也会占用更多的Token资源。

结论：理解输入，而非检索答案

三组实验清晰地揭示了同一个规律：面对同样的开头，只要需求变一遍，模型就会沿着新的语境继续生成。它不是从某个固定的答案库里检索，而是在理解了当前输入和具体要求之后，动态生成接下来的内容。

这也解释了为什么"提示词工程"如此重要——你给出的上下文和约束条件，直接决定了大语言模型生成的方向和质量。

那么，模型究竟把文字切成了什么样的"Token"？这个基本单位背后又藏着哪些门道？我们将在下一篇文章中详细展开。