LLM在生成文本时并不维护一个可查询的事实数据库，而是根据上下文逐个预测下一个词；训练数据中高频、连贯、反复出现的信息会被更稳定地复现，而低频、矛盾或零散的事实容易被语言模型的流畅性平滑成看似完整的叙述。