待验证60% 置信事实精确时间
Ethayarajh等人于2019年通过实证研究揭示BERT、GPT等预训练模型的词向量高度集中在狭窄的锥形区域内，存在各向异性
2
来源数
60%
置信度
长期有效
时效性
2026/7/7
首次发现
来源
分散损失：破解小语言模型嵌入坍缩的关键技术
hackernewshackernews2026/7/3
相关事实
待验证许多预训练模型产生的向量并非均匀分布在空间中，而是挤在一个狭窄的锥形区域内，这种现象称为各向异性（Anisotropy）68% 相似待验证BERTScore 等基于预训练向量的指标尝试引入语义相似度，但仍停留在句子粒度，难以追踪答案中具体事实主张是否与上下文一致65% 相似待验证语境混淆造成的是窄域失准（narrow misalignment），失准集中在与训练数据语义相近的特定领域，而非模型整体行为的广泛退化65% 相似待验证当数据中存在明显的异方差结构时，单一全局早停点可能并非最优，值得探索区域自适应的训练策略65% 相似待验证微调过程中过度依赖微调部分，可能正是罕见类能力被遮蔽的根源；将模型计算适度导向预训练组件，或许是一条更稳健的微调路线。63% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/189248API
curl https://kongchang.com/api/v1/knowledge/claims/189248MCP
get_claim(id=189248)