Unverified95% confidenceFactTime unknown
2018年BERT预训练模型问世，通过在海量文本上预训练，模型能够捕捉词语在不同语境下的细微含义差异
1
Sources
95%
Confidence
Long-term
Relevance
6/1/2026
First Seen
Sources
AI智能体入门指南：核心原理、技术架构与应用场景全解析
bilibili大模型教程
Related Entities
Related Claims
Verified大语言模型的预训练阶段本质上属于自监督学习，是一种特殊的非监督学习，模型通过预测下一个词来从海量文本中自动学习语言规律79% similarUnverifiedLLM的预训练本质是在海量文本上进行下一词预测（Next Token Prediction），通过Transformer架构的注意力机制建立词语间语义关联74% similarUnverified少样本学习通过在Prompt中提供2-5个示例帮助模型快速理解输出格式和风格要求73% similarUnverifiedBERT 使用 Masked Language Modeling 作为预训练任务，GPT 使用 Causal Language Modeling（预测下一个词）作为预训练任务73% similarUnverified模型的工具调用能力来自专门的微调训练，而非通用语言模型的自然涌现72% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/18902API
curl https://kongchang.com/api/v1/knowledge/claims/18902MCP
get_claim(id=18902)