待验证60% 置信事实精确时间

预训练阶段的语言模型只学会续写文本，并不理解回答问题或遵循指令的概念

2

来源数

60%

置信度

长期有效

时效性

2026/9/11

首次发现

来源

从零构建GPT：用PyTorch亲手打造你的语言模型

涉及实体

预训练concept

相关事实

已验证大语言模型存在两个天然短板：知识截止于训练时间无法获取最新信息，以及只能生成文本无法直接执行操作77% 相似待验证在使用模型润色或改写时，仅要求它保留原文语气和措辞往往不够，更根本的做法是在输出后用自己的语言重新过一遍77% 相似待验证研究者坦承该模型在文本任务上仍远不如在数万亿token上训练的经典语言模型76% 相似待验证训练时模型被要求选出单个下一个词，但语言本身具有模糊性，模型学会无论如何都要做出选择。76% 相似待验证文化理解缺陷根植于模型预训练阶段对该语言及其文化语料的不足，无法仅靠推理阶段技巧弥补76% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/904259

API

curl https://kongchang.com/api/v1/knowledge/claims/904259

MCP

get_claim(id=904259)