待验证50% 置信事实精确时间

注意力内核在大模型训练和推理阶段往往占据总算力的30%至60%

1

来源数

50%

置信度

长期有效

时效性

2026/9/18

首次发现

来源

DeepSeek内核工程师自述：被自己训练的AI取代的一年

涉及实体

attention kernelconcept Transformerconcept

相关事实

待验证GPU注意力内核即使只快10%到20%，都会直接转化为更快的推理、更快的训练和更低的成本74% 相似待验证建议上下文占用接近30%时开始关注，超过40%时执行Compact，超过60%时考虑Clear后重新开始72% 相似待验证在演示数据集上训练15轮后，文本分类模型准确率达到99%，模型总参数11万（Attention 1.6万，FFN 3.3万，其余为Embedding）68% 相似待验证实验数据表明结合情境线索的词汇记忆效率可提升40%-60%68% 相似待验证研究表明在某些开源Benchmark上头部大模型训练语料与评测数据的n-gram重叠率可高达15%~30%68% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/931605

API

curl https://kongchang.com/api/v1/knowledge/claims/931605

MCP

get_claim(id=931605)