待验证50% 置信事实精确时间
ALiBi直接在注意力分数上叠加与距离成正比的线性惩罚项，实现简洁且对长度外推友好
1
来源数
50%
置信度
长期有效
时效性
2026/9/21
首次发现
来源
涉及实体
相关事实
待验证ALiBi 不引入显式位置编码，而是在注意力分数上叠加与相对距离成线性比例的负偏置项75% 相似待验证相对位置编码（如 RoPE、ALiBi）会对距离较远的 token 对施加注意力衰减偏置，序列边界位置拥有更多邻近token的注意力积累优势72% 相似待验证原始 Self-Attention 的计算量随序列长度呈平方级增长，Anthropic 通过优化位置编码（如 ALiBi）等技术手段拓展了可用上下文68% 相似待验证流式处理的解决方案包括因果注意力掩码、chunked attention和look-ahead缓冲63% 相似待验证CIoU损失在GIoU基础上引入长宽比一致性惩罚项，同时优化重叠面积、中心点距离与形状相似性61% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/939622API
curl https://kongchang.com/api/v1/knowledge/claims/939622MCP
get_claim(id=939622)