待验证50% 置信事实精确时间
SparsePR是一种免训练的稀疏注意力机制，面向视频生成与世界模型两类负载，不改变模型权重、不增加训练阶段，直接在推理时对注意力计算做稀疏化。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/11/3
首次发现
有效期至：2027/2/1
来源
涉及实体
相关事实
待验证免训练稀疏注意力无需改变模型权重或重新训练，常见实现包括基于固定模式的稀疏化（如局部窗口、步长注意力）和基于内容的自适应稀疏化（如根据注意力分数阈值剪枝）。70% 相似待验证在视觉对齐训练阶段冻结LLM主干参数、分阶段训练、数据配比回放和LoRA等方法可缓解多模态训练中的灾难性遗忘问题68% 相似待验证学习型 sink 是在注意力 softmax 中引入可训练的吸收位置，用于在长上下文或流式生成中稳定注意力分布。66% 相似待验证少样本示例（Few-shot Prompting）的工作原理基于Transformer注意力机制，无需更新模型权重，被称为上下文学习（In-context Learning）65% 相似待验证对预训练模型的键和值权重做奇异值分解（SVD），可将其因子化为降维投影（编码器）和升维投影（解码器），把标准注意力转换成类似多头潜在注意力（MLA）的低秩缓存结构65% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1129717API
curl https://kongchang.com/api/v1/knowledge/claims/1129717MCP
get_claim(id=1129717)