EleutherAI
专注于AI开放研究的非营利组织，以完全开放的方式发布语言模型、训练数据集和训练日志，推动AI研究民主化
核心事实
时间轴 (近 90 天)
whatmodel.sh 数据中 14,436 个结果来自独立评估（ACL Anthology、arXiv、Epoch AI、LMArena、EvalPlus、EleutherAI harness 等），7,677 个来自实验室自报，独立评估占比约 77%。
Pythia是EleutherAI发布的一系列标准GPT-NeoX风格Transformer模型，训练过程完全公开透明
EleutherAI和Hugging Face为代表的开源社区强调安全通过隐匿实现（Security through Obscurity）历来是脆弱的策略
EleutherAI、Allen AI等机构推行完全开放路线，连训练日志和数据集都一并发布
社区中较受认可的公开评测框架包括LMSYS Chatbot Arena、EleutherAI的LM Evaluation Harness以及HuggingFace Open LLM Leaderboard
Eval Harness 最早广泛用于模型基准测试，如 EleutherAI 的 lm-evaluation-harness
EleutherAI开发了lm-evaluation-harness标准化评估框架，试图通过统一测试流程减少测量噪声
The Pile是由EleutherAI创建的约825GB开源文本数据集，由22个子数据集组成，涵盖学术论文、代码、网页、书籍、维基百科等
EleutherAI创建了The Pile——一个800GB的高质量训练数据集
EleutherAI先后发布了GPT-Neo、GPT-J-6B和GPT-NeoX-20B等开源模型
还有 3 条时间轴事件
全部知识事实 (16)
EleutherAI的lm-evaluation-harness是大模型领域最著名的Eval Harness参考实现，为语言模型提供标准化benchmark测试能力
75%待验证Meta的LLaMA官方实现采用非交错格式（half-half格式），GPT-NeoX/EleutherAI的实现采用交错格式
90%待验证EleutherAI的Pythia系列和BLOOM是达到真正开源标准（包括训练数据、训练代码、模型架构和权重全面公开）的少数AI项目代表
80%待验证EleutherAI的Language Model Evaluation Harness专注于能力基准测试
70%待验证The Pile是由EleutherAI创建的约825GB开源文本数据集，由22个子数据集组成，涵盖学术论文、代码、网页、书籍、维基百科等
60%待验证whatmodel.sh 数据中 14,436 个结果来自独立评估（ACL Anthology、arXiv、Epoch AI、LMArena、EvalPlus、EleutherAI harness 等），7,677 个来自实验室自报，独立评估占比约 77%。
50%待验证Pythia是EleutherAI发布的一系列标准GPT-NeoX风格Transformer模型，训练过程完全公开透明
50%待验证EleutherAI和Hugging Face为代表的开源社区强调安全通过隐匿实现（Security through Obscurity）历来是脆弱的策略
50%待验证EleutherAI、Allen AI等机构推行完全开放路线，连训练日志和数据集都一并发布
50%待验证社区中较受认可的公开评测框架包括LMSYS Chatbot Arena、EleutherAI的LM Evaluation Harness以及HuggingFace Open LLM Leaderboard
50%待验证Eval Harness 最早广泛用于模型基准测试，如 EleutherAI 的 lm-evaluation-harness
50%待验证EleutherAI开发了lm-evaluation-harness标准化评估框架，试图通过统一测试流程减少测量噪声
50%待验证EleutherAI是2020年由一群独立研究者在Discord上自发组建的去中心化AI研究组织
50%待验证EleutherAI创建了The Pile——一个800GB的高质量训练数据集
50%待验证EleutherAI等开源研究社区聚集了大量独立研究者进行协作
50%待验证EleutherAI先后发布了GPT-Neo、GPT-J-6B和GPT-NeoX-20B等开源模型
50%