EmsyAI
一个由个人开发者从零手写实现的1.967亿参数语言模型，采用GQA、SwiGLU、RoPE等现代架构技术，在消费级GPU上完成训练，用于探索工业级大模型训练的工程实践
时间轴 (近 90 天)
EmsyAI（V4）是一个1.967亿参数的语言模型，在消费级GPU上完成训练
EmsyAI采用GQA注意力机制，配置为16个Query头/4个KV头
EmsyAI的训练token量为19.6亿，上下文窗口4096 tokens，隐藏维度1024，FFN维度2816，词表约16k
EmsyAI使用FP16混合精度训练了15000步，验证困惑度收敛到5.86
EmsyAI使用230万参数的LoRA适配器在CodeAlpaca数据集上做指令微调，在HumanEval代码基准测试中得分为0.0%
当隐藏维度达到1024时，注意力logit会偶发性地剧烈飙升，成为规模扩大后的稳定性隐患
EmsyAI的BPE分词器中字节0-3与特殊控制token（如<|endoftext|>）发生重叠，是静默拖累性能的bug
EmsyAI最终权重导出为GGUF格式，可在Ollama中运行
全部知识事实 (8)
EmsyAI（V4）是一个1.967亿参数的语言模型，在消费级GPU上完成训练
50%待验证EmsyAI采用GQA注意力机制，配置为16个Query头/4个KV头
50%待验证EmsyAI的训练token量为19.6亿，上下文窗口4096 tokens，隐藏维度1024，FFN维度2816，词表约16k
50%待验证EmsyAI使用FP16混合精度训练了15000步，验证困惑度收敛到5.86
50%待验证EmsyAI使用230万参数的LoRA适配器在CodeAlpaca数据集上做指令微调，在HumanEval代码基准测试中得分为0.0%
50%待验证当隐藏维度达到1024时，注意力logit会偶发性地剧烈飙升，成为规模扩大后的稳定性隐患
50%待验证EmsyAI的BPE分词器中字节0-3与特殊控制token（如<|endoftext|>）发生重叠，是静默拖累性能的bug
50%待验证EmsyAI最终权重导出为GGUF格式，可在Ollama中运行
50%