模型Tulu-Pythia-6.9b / Pythia系列
Pythia
EleutherAI发布的一系列标准GPT-NeoX风格Transformer语言模型,训练过程完全公开透明(含完整检查点序列),被广泛用作大模型研究基准。
时间轴 (近 90 天)
10月1日
Pythia是EleutherAI发布的一系列标准GPT-NeoX风格Transformer模型,训练过程完全公开透明
待验证50%
10月1日
组合模型的多项选择准确率无一超越父模型Pythia,某些组合能媲美RWKV但无法达到原始Pythia水平
待验证50%
9月11日
一篇arXiv论文(arXiv:2609.10830)利用OLMo-2和Pythia两个公开预训练语料的模型家族,以及可精确返回句子在语料中出现确切次数的公开索引来研究成员推断
待验证50%