Unverified50% confidenceOpinionExact time
随着预训练模型规模扩大，许多曾经有效的显式知识注入技巧逐渐失效甚至产生负面效果
1
Sources
50%
Confidence
Long-term
Relevance
9/11/2026
First Seen
Sources
Related Entities
Related Claims
Unverified大模型进入后预训练时代后，单纯堆砌参数带来的能力收益愈发递减，厂商转向后训练阶段寻求突破78% similarUnverified小模型通过知识蒸馏通常比直接在标注数据上训练精度高出2-5个百分点76% similarUnverified单纯堆砌参数而训练数据不足会导致模型大而不强，参数跃升需配合同步扩大的训练语料与算力才能兑现能力增益76% similarUnverifiedDeepMind的Chinchilla研究指出此前的模型普遍过大而欠训练，即参数量过多但训练数据不足76% similarUnverified训练数据的质量和多样性直接影响模型输出可靠性，包含大量低质量、矛盾或虚假信息的训练数据可能导致模型学习到错误模式75% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/907940API
curl https://kongchang.com/api/v1/knowledge/claims/907940MCP
get_claim(id=907940)