待验证50% 置信观点精确时间

小模型对数据质量的敏感度远高于大模型

1

来源数

50%

置信度

长期有效

时效性

2026/10/11

首次发现

来源

从零打造124M参数小模型Levy-1：下一代该如何改进？

涉及实体

小模型concept

相关事实

待验证小模型对数据分布更敏感，同样的数据补充量在4B模型上的边际效果往往比大模型更明显80% 相似待验证对于参数量有限的小模型，数据质量对最终性能的影响甚至超过数据量本身75% 相似待验证更大的基座模型即便经过较激进的量化，整体能力仍优于参数量更小模型的轻度量化72% 相似待验证专用小模型相比通用大模型在成本和速度上的优势可达一个数量级以上72% 相似待验证经过精心筛选和去重的高质量数据集，能够以远少于原始规模的token数量训练出同等甚至更强的模型71% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/996338

API

curl https://kongchang.com/api/v1/knowledge/claims/996338

MCP

get_claim(id=996338)