Unverified50% confidenceFactExact time
LLaMA架构使用RMSNorm替代LayerNorm、采用RoPE旋转位置编码、使用SwiGLU激活函数
1
Sources
50%
Confidence
Long-term
Relevance
7/13/2026
First Seen
Sources
不到350元训练亿参数模型：SmoLLM从零构建全记录
redditr/learnmachinelearning7/12/2026
Related Claims
UnverifiedRDNA 3架构引入了WMMA（Wave Matrix Multiply Accumulate）指令，可在着色器中更高效地执行矩阵乘法运算59% similarVerifiedQwen 3.5架构使用改进的Transformer变体，融合了分组查询注意力（GQA）和旋转位置编码（RoPE）等技术58% similarUnverifiedLLaMA-2 70B采用80层、64个注意力头的架构，并使用GQA（8个KV头共享64个Q头）56% similarUnverifiedDW01A集成过充（>4.3V）、过放（<2.5V）和过流/短路检测逻辑，检测到异常时通过控制引脚断开外部MOSFET55% similarUnverifiedvLLM 支持多 GPU 分布式推理，主要采用张量并行策略，底层集成 Megatron-LM 的并行算子并利用 NCCL 库实现 GPU 间通信55% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/502352API
curl https://kongchang.com/api/v1/knowledge/claims/502352MCP
get_claim(id=502352)