待验证50% 置信注意事项精确时间

训练样本末尾遗漏EOS token会导致模型无法学习何时停止生成，推理时陷入无限续写

1

来源数

50%

置信度

长期有效

时效性

2026/7/14

首次发现

来源

不到350元训练亿参数模型：SmoLLM从零构建全记录

redditr/learnmachinelearning2026/7/12

相关事实

待验证训练数据中的重复内容会导致模型记忆化和性能下降75% 相似待验证模型微调的真正难点在于高质量训练数据的构建与清洗、防止灾难性遗忘，以及量化后的推理部署70% 相似待验证大模型存在三大固有局限：无状态不保留记忆、训练数据有截止日期无法获取实时信息、只能生成文本无法主动调用外部系统70% 相似待验证当生成模型反复在自身生成的数据上训练时，输出分布会逐渐退化，低概率事件被系统性遗忘69% 相似待验证仅用成功轨迹训练的模型往往存在分布外泛化的严重缺陷，遇到工具返回错误时便丧失纠偏能力69% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/503158

API

curl https://kongchang.com/api/v1/knowledge/claims/503158

MCP

get_claim(id=503158)