待验证50% 置信基准精确时间

在 Qwen2.5-0.5B 上，OAL 相比 DiJiang 将冻结注意力输出的相对均方误差降低了约 8.9%

1

来源数

50%

置信度

长期有效

时效性

2026/10/12

首次发现

来源

OAL：离群维度感知的注意力线性化新方法

涉及实体

OALconcept DiJiangconcept Qwen2.5-0.5Bmodel

相关事实

已验证量化（如INT8、FP8）能降低显存占用并提升吞吐，同时在多数场景下保持可接受的精度损失64% 相似待验证该架构在实现注意力相当一部分性能的前提下，FLOPs减少约1.9倍63% 相似待验证量化误差具有非均匀分布特性，注意力机制的Q/K/V矩阵和最后几层对量化更为敏感60% 相似待验证量化感知训练（QAT）能将INT8精度损失控制在1%以内59% 相似待验证LessThink-Qwen3-4B 是对 Qwen3-4B 进行后训练得到的模型，使其在推理阶段减少约44%的token消耗，同时尽量保持原有的知识面和回答风格59% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1002307

API

curl https://kongchang.com/api/v1/knowledge/claims/1002307

MCP

get_claim(id=1002307)