待验证50% 置信事实精确时间
LLaMA架构使用RMSNorm替代LayerNorm、采用RoPE旋转位置编码、使用SwiGLU激活函数
1
来源数
50%
置信度
长期有效
时效性
2026/7/13
首次发现
来源
不到350元训练亿参数模型：SmoLLM从零构建全记录
redditr/learnmachinelearning2026/7/12
相关事实
待验证RDNA 3架构引入了WMMA（Wave Matrix Multiply Accumulate）指令，可在着色器中更高效地执行矩阵乘法运算59% 相似已验证Qwen 3.5架构使用改进的Transformer变体，融合了分组查询注意力（GQA）和旋转位置编码（RoPE）等技术58% 相似待验证LLaMA-2 70B采用80层、64个注意力头的架构，并使用GQA（8个KV头共享64个Q头）56% 相似待验证DW01A集成过充（>4.3V）、过放（<2.5V）和过流/短路检测逻辑，检测到异常时通过控制引脚断开外部MOSFET55% 相似待验证vLLM 支持多 GPU 分布式推理，主要采用张量并行策略，底层集成 Megatron-LM 的并行算子并利用 NCCL 库实现 GPU 间通信55% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/502352API
curl https://kongchang.com/api/v1/knowledge/claims/502352MCP
get_claim(id=502352)