待验证50% 置信事实精确时间
Gemma 2采用的是注意力logit软封顶（soft-capping），而非QK-Norm
1
来源数
50%
置信度
长期有效
时效性
2026/9/12
首次发现
来源
涉及实体
相关事实
待验证Gemma系列采用了分组查询注意力（GQA）和RoPE位置编码等Transformer架构改进技术60% 相似待验证Gemma 4 14B和12B模型的视觉与OCR能力存在严重缺陷，无法可靠处理发票或截图中的文字提取59% 相似待验证Qwen3.5引入门控（Gating）机制对注意力结果做二次过滤，可消除Attention Sink现象并增强长文本外推能力52% 相似待验证标准Softmax注意力在极长序列上存在注意力湮没（Attention Sink）问题，催生了Sliding Window Attention、RoPE外推、ALiBi等改进方案51% 相似待验证DeBERTa-v3-small 引入解耦注意力机制，在小参数量下保持更强的文本理解能力51% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/912658API
curl https://kongchang.com/api/v1/knowledge/claims/912658MCP
get_claim(id=912658)