待验证50% 置信事实精确时间
GPT、Claude、DeepSeek等大语言模型在数万亿token的多语言、多领域文本上进行预训练，涵盖代码仓库、学术论文、书籍、网页等数据源
1
来源数
50%
置信度
长期有效
时效性
2026/9/1
首次发现
来源
涉及实体
相关事实
待验证大语言模型如GPT-4、Claude的训练语料主要来源于现代代码仓库、技术文档和编程论坛，Python、JavaScript、Java等高级语言占绝对主导80% 相似待验证GPT系列和Claude等主流大语言模型的训练语料主要抓取自2000年代以后的互联网内容79% 相似已验证GPT-4、Claude等大语言模型的代码生成能力源于训练数据中包含了GitHub上数以亿计的开源代码库79% 相似已验证GPT和BERT等大语言模型基于自监督学习范式77% 相似待验证GPT-4和Claude等大语言模型通过在海量代码和网页数据上预训练，能够将文字描述直接转化为HTML、CSS和JavaScript代码76% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/838764API
curl https://kongchang.com/api/v1/knowledge/claims/838764MCP
get_claim(id=838764)