解码随机性

大语言模型在生成每个token时，并非总是选择概率最高的token，而是根据概率分布进行随机抽取的机制。常见参数包括temperature、top-k、top-p等，用于调节生成文本的多样性与确定性，是幻觉产生的原因之一