已验证70% 置信事实时间未知

GPT-3的训练数据包含了数千亿token的互联网文本

4

来源数

70%

置信度

长期有效

时效性

2026/6/3

首次发现

来源

RAG技术入门：什么是检索增强生成？如何解决大模型幻觉问题

bilibiliAI大模型全栈

涉及实体

相关事实

待验证GPT系列训练语料来源涵盖Common Crawl网络爬虫数据、书籍数据库、维基百科及其他网络内容77% 相似已验证GPT-4、Claude等大语言模型的代码生成能力源于训练数据中包含了GitHub上数以亿计的开源代码库75% 相似已验证GPT系列模型通过预测下一个词的自监督任务在万亿级文本数据上训练73% 相似待验证OpenAI在GPT-3的技术报告中披露其训练数据集包含Common Crawl（经过质量过滤）、WebText2、Books1、Books2和英文维基百科72% 相似待验证GPT系列在代码生成和工具调用上有深厚积累72% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/40471

API

curl https://kongchang.com/api/v1/knowledge/claims/40471

MCP

get_claim(id=40471)