待验证50% 置信事实精确时间

现代 LLM 动辄拥有数十甚至上百层，每层又包含多个注意力头，完整的注意力数据是一个庞大的多维张量

1

来源数

50%

置信度

长期有效

时效性

2026/9/11

首次发现

来源

可视化LLM注意力机制：揭开大模型思考过程的神秘面纱

涉及实体

相关事实

待验证稠密检索配合ANN索引技术（如HNSW、FAISS）能在百万乃至十亿级向量中实现毫秒级召回65% 相似待验证通过 RoPE、ALiBi 等位置编码改进、滑动窗口注意力及长文本微调，主流模型的有效上下文窗口已扩展至数十万乃至百万 Token 量级64% 相似待验证通义千问3.6拥有100万Token超大上下文窗口64% 相似待验证当前主流大模型的参数量普遍达到万亿级别64% 相似待验证多模态模型分析一张完整网页截图时处理的视觉Token数量可能高达数千甚至数万个63% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/899068

API

curl https://kongchang.com/api/v1/knowledge/claims/899068

MCP

get_claim(id=899068)