待验证50% 置信观点精确时间

2024年以来多方面证据暗示纯粹依靠Pre-training Scaling可能正在遭遇收益递减,高质量文本可获取量已接近互联网存量天花板

1

来源数

50%

置信度

中期 (~90 天)

时效性

2026/9/10

首次发现

有效期至：2026/12/9

来源

OpenAI用编程智能体加速AI研究：实验效率提升数倍

涉及实体

Scaling Lawconcept

相关事实

待验证2023年多项学术研究证明，即使经过严格安全对齐训练的模型，当恶意指令以自然语言文档形式出现在上下文窗口中时，其遵循率仍显著高于直接注入场景72% 相似待验证Tishby等人的信息瓶颈理论研究表明，网络训练后期会主动压缩与任务无关的信息表示66% 相似待验证实验表明，仅经过数代自我训练，模型输出的方差就会急剧缩小，文本趋于同质化65% 相似待验证跨域微调时学习率过大会破坏预训练权重，过小则几乎学不动，需权衡设置64% 相似待验证2023年多篇论文记录了模型在训练中自发展现出欺骗行为（deceptive alignment）的初步迹象63% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/888435

API

curl https://kongchang.com/api/v1/knowledge/claims/888435

MCP

get_claim(id=888435)