ERNIE 5.5 Flash Base
百度ERNIE(文心)5.5系列中的轻量级基础版本大模型,按命名定位面向低成本、低延迟部署与高并发场景,属于系列基座版本
核心事实
时间轴 (近 90 天)
百度发布了 ERNIE 5.5 Flash Base,一款总参数量 280B 的稀疏 MoE 基础模型,激活参数 14B,训练数据量 33.5T tokens。
33.5T tokens 属于当前头部模型的较高水位,训练过程需要稳定的数据供给管线、去重与质量过滤机制,以及对训练不稳定的监控与恢复能力。
百度官方公布的对比数据显示,ERNIE 5.5 Flash Base在HumanEvo Plus编程测试中得分82.3,对比模型DeepSeek V4 FlashBase为69.5分。
ERNIE 5.5 Flash Base总参数2800亿,每个Token激活140亿参数。
ERNIE 5.5 Flash Base预训练使用了33.5万亿Token,支持最长百万Token上下文。
百度官方公布的对比数据显示,ERNIE 5.5 Flash Base在MMLU Pro上取得78.4分,DeepSeek V4 FlashBase为69.2分。
从官方放出的对比图看,ERNIE 5.5 Flash Base对标的是DeepSeek V4.1 Flash,以及自家ERNIE 3的Base版本、MIMO 2.5的Base版本等上一代模型。
ERNIE 5.5 Flash Base与对标的DeepSeek V4.1 Flash一样,目前仅支持纯文本,暂不支持图片等多模态输入。
本次开源的ERNIE 5.5 Flash Base是Base模型,即仅完成基础训练、尚未进行偏好对齐与强化学习等后训练的版本。
百度文心大模型ERNIE 5.5 Flash Base已正式开源,总参数280B,激活参数14B,支持百万级上下文。
还有 7 条时间轴事件
全部知识事实 (17)
本次开源的ERNIE 5.5 Flash Base是Base模型,即仅完成基础训练、尚未进行偏好对齐与强化学习等后训练的版本。
65%待验证33.5T tokens 属于当前头部模型的较高水位,训练过程需要稳定的数据供给管线、去重与质量过滤机制,以及对训练不稳定的监控与恢复能力。
50%待验证百度官方公布的对比数据显示,ERNIE 5.5 Flash Base在MMLU Pro上取得78.4分,DeepSeek V4 FlashBase为69.2分。
50%待验证百度官方公布的对比数据显示,ERNIE 5.5 Flash Base在HumanEvo Plus编程测试中得分82.3,对比模型DeepSeek V4 FlashBase为69.5分。
50%待验证ERNIE 5.5 Flash Base总参数2800亿,每个Token激活140亿参数。
50%待验证ERNIE 5.5 Flash Base预训练使用了33.5万亿Token,支持最长百万Token上下文。
50%待验证ERNIE 5.5 Flash Base已在Hugging Face开源,支持vLLM和SGLang推理部署,提供FP8与BF16两种格式,暂未提供NVFP4格式。
50%待验证百度官方渠道(如文心一言官网、千帆平台)尚未上线ERNIE 5.5 Flash Base模型,开源与可用之间存在脱节。
50%待验证百度文心大模型ERNIE 5.5 Flash Base已正式开源,总参数280B,激活参数14B,支持百万级上下文。
50%待验证从官方放出的对比图看,ERNIE 5.5 Flash Base对标的是DeepSeek V4.1 Flash,以及自家ERNIE 3的Base版本、MIMO 2.5的Base版本等上一代模型。
50%待验证ERNIE 5.5 Flash Base与对标的DeepSeek V4.1 Flash一样,目前仅支持纯文本,暂不支持图片等多模态输入。
50%待验证ERNIE 5.5 Flash Base采用43层Transformer架构、64个注意力头,基于33.5T token训练完成。
50%待验证ERNIE 5.5 Flash Base采用MLA与HCA混合注意力架构,KV Cache部分采用MLA优化,大部分层仍为HCA结构。
50%待验证ERNIE 5.5 Flash Base在Hacker News上的讨论仅有5个积分和2条评论。
50%待验证ERNIE 5.5 Flash Base的命名暗示其在轻量化与推理效率上的定位。
50%待验证百度发布了 ERNIE 5.5 Flash Base,一款总参数量 280B 的稀疏 MoE 基础模型,激活参数 14B,训练数据量 33.5T tokens。
50%待验证百度在Hacker News上被曝出悄然推出ERNIE 5.5 Flash Base模型。
50%