#模型架构
共 7 篇相关文章
·4 分钟
ZHA：树状索引器如何实现亚二次注意力
Zyphra 提出 ZHA 层级树状索引器，让稀疏注意力的路由与计算总成本随序列长度亚线性增长，实现亚二次缩放；仅需短 KL 蒸馏即可迁移到现有预训练模型，并在长上下文检索与推理任务上保持性能。
阅读全文 →
·5 分钟
层级残差HiRes：解耦残差宽度与计算宽度，FLOPs效率提升1.3倍
论文提出层级残差HiRes，将残差宽度与计算宽度解耦：块内保持标准PreNorm层，块间用更宽的PostNorm外层残差连接。实验显示拟合缩放律带来1.30倍FLOPs效率提升，OLMoE-1B-7B预训练500B tokens训练损失降低0.0208，下游准确率提升1.14点，且激活内存与I/O开销低于VWN、mHC、AttnRes。
阅读全文 →
·10 分钟
NVIDIA Nemotron 3.5 Super VL：Mamba-MoE混合架构解析
NVIDIA Nemotron 3.5 Super VL 120B A12B 采用 Mamba-MoE 混合架构、RADIO 视觉塔与 NVFP4 四位量化，每 token 仅激活 12B 参数，B200 吞吐达 185 tokens/秒。本文解析其架构、基准表现与部署方案。
阅读全文 →
·5 分钟
GPT-6.1 Sol「泄露」疑云：循环与嵌套模型架构浮出水面
一篇 Reddit 热帖通过推理速度数据反推 GPT-6/6.1 Sol、Astra、Luna 的底层架构，提出循环 Transformer 与嵌套模型可能同时被用于大规模低成本部署。本文梳理其推演逻辑与对开源社区的启示。
阅读全文 →
·5 分钟
Transformer、RNN、SSM：AI模型的记忆到底藏在哪里？
从「记忆住在哪里」这一全新视角，对比RNN的循环隐藏状态、Transformer的KV缓存与SSM/Mamba的选择性状态，并探讨BDH等以网络为中心的架构，剖析AI模型记忆与计算的根本权衡。
阅读全文 →
·8 分钟
System 1 vs System 2 模型：一次性回答与链式推理的本质差异
通过管理链实测对比 System 1（JEV/Jeff）与 System 2 思维模型的本质差异：单次前向传播 vs 链式推理循环。解析何时该用哪种模型，以及如何用置信度分数编排两者协同工作。
阅读全文 →
