待验证50% 置信概念精确时间

嵌入坍缩是指训练过程中模型学到的词嵌入或隐藏表示逐渐挤压到嵌入空间的狭小区域内，导致不同词汇的向量表示高度相似、难以区分

1

来源数

50%

置信度

长期有效

时效性

2026/7/7

首次发现

来源

分散损失：破解小语言模型嵌入坍缩的关键技术

hackernewshackernews2026/7/3

相关事实

待验证分散损失是一种在训练目标中显式加入约束项、鼓励嵌入向量在空间中尽可能散开的正则化方法，用于对抗小语言模型中的嵌入坍缩74% 相似待验证分块策略中块太大导致语义焦点模糊，块太小导致上下文割裂，固定窗口、句子级、语义边界递归分块在不同场景各有权衡，没有普适最优解68% 相似待验证表示坍缩指模型将所有输入映射到同一点或低维流形，使损失趋近于零但毫无意义，是自监督学习的核心挑战65% 相似待验证功能蔓延（Feature Creep）指产品在迭代过程中不断叠加新功能，最终导致核心体验被稀释64% 相似待验证块太大会导致嵌入向量稀释、检索精度下降，块太小则可能丢失完整的语义单元64% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/189244

API

curl https://kongchang.com/api/v1/knowledge/claims/189244

MCP

get_claim(id=189244)