待验证50% 置信事实精确时间
Sparse Transformer由OpenAI于2019年提出，用固定的稀疏模式替代全注意力
1
来源数
50%
置信度
长期有效
时效性
2026/8/31
首次发现
来源
涉及实体
相关事实
待验证OpenAI于2024年推出Prompt Caching功能，底层依托Transformer架构中的KV Cache实现66% 相似待验证Universal Transformer于2018年提出，将同一个Transformer块反复应用于输入序列63% 相似待验证域随机化最早由OpenAI在2017年的机械手研究中系统应用63% 相似待验证Llama系列由Meta AI于2023年以开源形式发布，采用Transformer Decoder架构，通过RoPE和GQA等优化降低推理显存占用62% 相似待验证Switch Transformer于2021年提出，将每次路由的专家数量精简为162% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/828091API
curl https://kongchang.com/api/v1/knowledge/claims/828091MCP
get_claim(id=828091)