共 2 篇相关文章
ArchSpace是一个公开平台,通过记录、评审和引用LLM架构研究,利用缩放定律从小规模实验预测大规模表现,填补工业界与学术界在架构创新验证上的缺口。
围绕DeepMind Chinchilla缩放定律的小规模复现实验展开讨论,分析用PyTorch或JAX复现计算最优训练规律的可行路径、实验设计要点与常见陷阱,为研究者提供实践参考。