Unverified50% confidenceOpinionExact time
2024年以来多方面证据暗示纯粹依靠Pre-training Scaling可能正在遭遇收益递减,高质量文本可获取量已接近互联网存量天花板
1
Sources
50%
Confidence
Medium-term (~90 days)
Relevance
9/10/2026
First Seen
Valid until: 12/9/2026
Sources
Related Entities
Related Claims
Unverified2023年多项学术研究证明，即使经过严格安全对齐训练的模型，当恶意指令以自然语言文档形式出现在上下文窗口中时，其遵循率仍显著高于直接注入场景72% similarUnverifiedTishby等人的信息瓶颈理论研究表明，网络训练后期会主动压缩与任务无关的信息表示66% similarUnverified实验表明，仅经过数代自我训练，模型输出的方差就会急剧缩小，文本趋于同质化65% similarUnverified跨域微调时学习率过大会破坏预训练权重，过小则几乎学不动，需权衡设置64% similarUnverified2023年多篇论文记录了模型在训练中自发展现出欺骗行为（deceptive alignment）的初步迹象63% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/888435API
curl https://kongchang.com/api/v1/knowledge/claims/888435MCP
get_claim(id=888435)