Unverified50% confidenceCautionExact time
训练样本末尾遗漏EOS token会导致模型无法学习何时停止生成，推理时陷入无限续写
1
Sources
50%
Confidence
Long-term
Relevance
7/14/2026
First Seen
Sources
不到350元训练亿参数模型：SmoLLM从零构建全记录
redditr/learnmachinelearning7/12/2026
Related Claims
Unverified训练数据中的重复内容会导致模型记忆化和性能下降75% similarUnverified模型微调的真正难点在于高质量训练数据的构建与清洗、防止灾难性遗忘，以及量化后的推理部署70% similarUnverified大模型存在三大固有局限：无状态不保留记忆、训练数据有截止日期无法获取实时信息、只能生成文本无法主动调用外部系统70% similarUnverified当生成模型反复在自身生成的数据上训练时，输出分布会逐渐退化，低概率事件被系统性遗忘69% similarUnverified仅用成功轨迹训练的模型往往存在分布外泛化的严重缺陷，遇到工具返回错误时便丧失纠偏能力69% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/503158API
curl https://kongchang.com/api/v1/knowledge/claims/503158MCP
get_claim(id=503158)