待验证50% 置信事实精确时间

增量预训练使用无标注的纯文本语料，训练目标仍是预测下一个token，本质是继续预训练

1

来源数

50%

置信度

长期有效

时效性

2026/10/23

首次发现

来源

LLaMA-Factory实战：零代码微调大模型全流程

涉及实体

增量预训练concept

相关事实

待验证上下文预测器针对训练中从未见过的主题才是最优的，它依赖提示进行即时适配，而非依赖已存储的参数。78% 相似待验证Prompteina 的训练流程分为文本条件预训练和残基级对齐微调两步78% 相似待验证预训练阶段模型通过自监督学习方式（通常是下一个 token 预测任务）在海量文本语料（通常达数万亿 token 规模）上进行训练76% 相似待验证从头训练意味着不使用任何预训练权重，而是用随机初始化的参数在全新数据集上完成完整的训练过程75% 相似已验证自监督学习是预训练阶段的核心范式，模型通过下一个词预测任务从数据本身构造训练信号75% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1091942

API

curl https://kongchang.com/api/v1/knowledge/claims/1091942

MCP

get_claim(id=1091942)