待验证50% 置信事实精确时间
层剪枝直接删除Transformer中的整个解码层，减少参数量和计算量，但可能丢失被删层承载的长尾知识或特定语言能力，往往需要少量恢复性微调。
1
来源数
50%
置信度
长期有效
时效性
2026/10/30
首次发现
来源
涉及实体
相关事实
待验证当前Transformer架构在处理分散于超长上下文中的隐式约束时存在根本性局限，导致修改代码时引入隐蔽bug73% 相似待验证近期研究ShortGPT发现Transformer模型中间层的隐藏状态之间往往存在高度余弦相似性，这些冗余层可被安全移除而对性能影响较小71% 相似待验证对Transformer而言，位置编码、注意力掩码等机制在训练长度之外可能失效。71% 相似已验证Transformer 推理的 prefill 阶段主要受计算能力（FLOPS）瓶颈制约，而 decode 阶段主要受内存带宽瓶颈制约70% 相似待验证Transformer输出token时经过采样，会永久丢失关于模型考虑过哪些可能性及各自置信度的信息（有损过程）69% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1115192API
curl https://kongchang.com/api/v1/knowledge/claims/1115192MCP
get_claim(id=1115192)