Unverified50% confidenceFactExact time

预训练阶段模型通过自监督学习方式（通常是下一个 token 预测任务）在海量文本语料（通常达数万亿 token 规模）上进行训练

1

Sources

50%

Confidence

Long-term

Relevance

8/28/2026

First Seen

Sources

后训练技术全解析：SFT、PPO、DPO与GRPO原理及选型指南

Related Entities

预训练concept Next Token Predictionconcept

Related Claims

Unverified自监督学习是预训练阶段的核心范式，模型通过下一个词预测任务从数据本身构造训练信号79% similar Partially Verified预训练模型是指在大规模数据集上预先训练好的模型，用户可以直接微调或调用来完成特定任务77% similar Unverified指令微调（Instruction Tuning）阶段的训练数据包含大量创意写作、商务邮件模板和角色扮演对话样本，使模型掌握各种文体格式73% similar

Cite This Claim

Stable URI

https://kongchang.com/claim/810412

API

curl https://kongchang.com/api/v1/knowledge/claims/810412

MCP

get_claim(id=810412)