Keera
一个97.5M参数的Python代码语言模型，架构类似GPT-2 small，由开发者从零训练完成，包含自研分词器、预训练和微调流程。
时间轴 (近 90 天)
开发者从零构建了一个97.5M参数的Python代码模型Keera，训练总成本为1.40美元。
Keera的架构基于GPT-2 small：12层Transformer块，隐藏维度768，总参数量97.5M。
Keera使用自研分词器，词表大小16,384，在Python代码上训练，平均3.9字符/token。
Keera使用RoPE位置编码、RMSNorm、权重共享嵌入和1,024 token上下文。
Keera在2B token的codeparrot-clean数据集上预训练，遵循Chinchilla约20 token/参数的规则。
在Vast.ai上租用RTX 5090（每小时0.584美元），使用bf16和torch.compile，Keera预训练吞吐约234,000 token/秒，2B token训练耗时2小时23分钟，验证损失1.501。
Keera使用self-oss-instruct-sc2-exec-filter-50k数据集微调，该数据集含50k条Python指令和答案，答案代码均实际运行并通过测试。
在HumanEval上，Keera预训练模型pass@1为3/164（1.8%），微调后为9/164（5.5%）。
作者明确标注HumanEval结果存在局限：未检查数据污染、预训练与微调评估设置不同（非受控测量）、保存的微调逐题结果文件含NUL字节不完整。
在HumanEval pass@1对比中，phi-1-small（350M参数）达到45%，Keera微调（97.5M参数）为5.5%。
全部知识事实 (10)
开发者从零构建了一个97.5M参数的Python代码模型Keera，训练总成本为1.40美元。
50%待验证Keera的架构基于GPT-2 small：12层Transformer块，隐藏维度768，总参数量97.5M。
50%待验证Keera使用自研分词器，词表大小16,384，在Python代码上训练，平均3.9字符/token。
50%待验证Keera使用RoPE位置编码、RMSNorm、权重共享嵌入和1,024 token上下文。
50%待验证Keera在2B token的codeparrot-clean数据集上预训练，遵循Chinchilla约20 token/参数的规则。
50%待验证在Vast.ai上租用RTX 5090（每小时0.584美元），使用bf16和torch.compile，Keera预训练吞吐约234,000 token/秒，2B token训练耗时2小时23分钟，验证损失1.501。
50%待验证Keera使用self-oss-instruct-sc2-exec-filter-50k数据集微调，该数据集含50k条Python指令和答案，答案代码均实际运行并通过测试。
50%待验证在HumanEval上，Keera预训练模型pass@1为3/164（1.8%），微调后为9/164（5.5%）。
50%待验证作者明确标注HumanEval结果存在局限：未检查数据污染、预训练与微调评估设置不同（非受控测量）、保存的微调逐题结果文件含NUL字节不完整。
50%待验证在HumanEval pass@1对比中，phi-1-small（350M参数）达到45%，Keera微调（97.5M参数）为5.5%。
50%