待验证50% 置信事实精确时间
预训练实验在160M和400M参数的密集模型以及一个135M激活参数、1B总参数的MoE模型上进行。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/28
首次发现
有效期至:2027/1/26
来源
涉及实体
相关事实
待验证通过模型蒸馏和微调,企业可训练出参数量仅为旗舰模型1/100的专用模型,在特定任务上以极低推理成本实现接近大模型的效果70% 相似已验证模型参数量通常指神经网络中可训练权重的总数,以B(十亿)为单位,参数量大致决定模型的容量上限,但并非能力的线性指标68% 相似待验证有限对比吉布斯模型是一类能量模型,通过对比正负样本的统计量来学习表征,训练目标直接决定模型收敛到哪种分布。66% 相似待验证同系列小模型(如大模型的 1/10 参数量版本)因训练数据与架构相近,输出分布与目标模型较为接近,是草稿模型的常见选择。66% 相似待验证推理则是模型训练完成后响应用户请求的过程,单次计算量小但请求量巨大,更看重吞吐量、延迟和单位成本。66% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1106001API
curl https://kongchang.com/api/v1/knowledge/claims/1106001MCP
get_claim(id=1106001)