待验证50% 置信事实精确时间
许多预训练模型产生的向量并非均匀分布在空间中，而是挤在一个狭窄的锥形区域内，这种现象称为各向异性（Anisotropy）
1
来源数
50%
置信度
长期有效
时效性
2026/10/11
首次发现
来源
涉及实体
相关事实
待验证Ethayarajh等人于2019年通过实证研究揭示BERT、GPT等预训练模型的词向量高度集中在狭窄的锥形区域内，存在各向异性68% 相似待验证语境混淆造成的是窄域失准（narrow misalignment），失准集中在与训练数据语义相近的特定领域，而非模型整体行为的广泛退化68% 相似待验证行为克隆（BC）存在协变量偏移问题，训练时模型只见过专家轨迹的状态分布，部署时微小误差会使机器人进入训练集未覆盖的状态导致级联失败67% 相似待验证如果模型预训练语料中极少出现超过 32K token 的样本，即便通过位置编码扩展窗口，模型在该区间的表现也往往不稳定67% 相似待验证域随机化的代价是早期训练信号更加嘈杂、收敛更慢，但换来策略在整个参数空间内均匀分布的泛化能力66% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/995595API
curl https://kongchang.com/api/v1/knowledge/claims/995595MCP
get_claim(id=995595)