待验证50% 置信事实精确时间
DepthGraft在0.5B到16B参数的密集模型和MoE模型上进行了实验,覆盖GQA和MLA两种注意力机制。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/11/3
首次发现
有效期至:2027/2/1
来源
DepthGraft:分层KV重建如何成为深度模型的结构正则化利器
rss2026/11/2
涉及实体
相关事实
待验证AutoHorizon、DEHP、ChunkTrust、SplineWAM 等工作将执行视界 L 视为自适应决策变量,在运行时从注意力权重、学习分支、潜证据或 B 样条世界-动作模型中估计它。71% 相似待验证商汤开源了Loop-9B模型,采用循环注意力与参数共享机制,16G内存即可在本地流畅运行,在复杂任务上反超部分更大参数规模的模型。70% 相似待验证在 GGUF 量化中,一个模型文件对不同的张量采用不同的量化方案,注意力层、前馈层、嵌入层可能各自使用不同的量化位宽和量化类型68% 相似已验证混合专家架构MoE通过稀疏激活机制,推理时只激活模型总参数的1/8至1/468% 相似待验证LLaVA-1.5及其后续工作引入了两层MLP甚至交叉注意力机制来增强跨模态信息融合66% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1130764API
curl https://kongchang.com/api/v1/knowledge/claims/1130764MCP
get_claim(id=1130764)