待验证50% 置信事实精确时间
跨图比较功能高度集中在少数注意力头上,数量约为16到32个头。
1
来源数
50%
置信度
长期有效
时效性
2026/11/17
首次发现
来源
涉及实体
相关事实
待验证重新分配16到32个头的跨图注意力(保持总量不变)会导致合成任务准确率下降17到22个点,HPatches下降15到32个点,而随机头或注意力匹配的头最多只造成7个点的下降。75% 相似待验证一个不受约束的全层适配器,其增益中有21%到51%是通过同一批关键头的注意力路由的,而随机头最多只有7%。66% 相似待验证文中示例模型总参数约11万,其中Attention模块占1.6万,FFN占3.3万65% 相似待验证使用 /clear 每个任务开新会话的实测额度为 19% 和 16%,对照组的 16% 和 17% 差距在噪声范围内,无法判定节省。65% 相似待验证注意力内核在大模型训练和推理阶段往往占据总算力的30%至60%63% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1179118API
curl https://kongchang.com/api/v1/knowledge/claims/1179118MCP
get_claim(id=1179118)