Unverified50% confidenceFactExact time
OpenAI的GPT-4o mini、Anthropic的Claude 3.5 Haiku等策略遵循'一次预训练、多次后训练'的成本摊薄逻辑
1
Sources
50%
Confidence
Long-term
Relevance
7/23/2026
First Seen
Sources
Related Claims
Unverified训练GPT-3等千亿参数模型需要配合学习率预热（Warmup）、余弦退火（Cosine Annealing）等调度策略，以及混合精度训练、梯度累积等工程技巧70% similarVerifiedSFT-奖励模型-RLHF三阶段对齐训练范式最早由OpenAI在InstructGPT论文中系统提出66% similarUnverifiedOpenAI从GPT-5.3版本开始引入自训练机制（self-training mechanism），使用模型自身生成的代码和数据反馈回模型进行训练66% similarVerified大模型训练经历三个核心阶段：预训练、有监督微调（SFT）和偏好对齐66% similarUnverifiedFrugalGPT（Chen et al., 2023）和LLM-Blender等框架试图通过训练专用路由分类器来平衡准确性与开销66% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/596167API
curl https://kongchang.com/api/v1/knowledge/claims/596167MCP
get_claim(id=596167)