待验证50% 置信事实精确时间
大多数主流LLM都在Common Crawl、Wikipedia、书籍语料等高度重叠的数据集上训练，且均采用Transformer的Decoder-only架构
1
来源数
50%
置信度
长期有效
时效性
2026/8/8
首次发现
来源
相关事实
已验证与RNN/LSTM架构相比，Transformer在训练时可以高度并行化，使训练数千亿参数的模型成为可能72% 相似待验证Transformer支持并行训练，是相对RNN/LSTM的重要突破，代表性模型为Google的BERT71% 相似待验证现代LLM通常经过专门的微调来学习何时、如何调用工具，训练数据中包含大量工具使用的示例对话71% 相似待验证2017年Google提出的Transformer架构替代了此前的RNN/LSTM序列模型，其并行计算特性使训练规模得以指数级扩展69% 相似待验证当前主流LLM普遍采用预训练加微调范式，先在互联网规模语料上无监督预训练，再通过RLHF等技术对齐人类偏好68% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/707718API
curl https://kongchang.com/api/v1/knowledge/claims/707718MCP
get_claim(id=707718)