Reflection-Beam-1.0
Reflection AI 发布的大规模开源混合专家(MoE)语言模型,总参数501B,激活参数23B,支持1M token上下文窗口,集成Harmony格式的推理与工具调用协议,并获vLLM Day-0推理支持与SkyRL训练支持。
时间轴 (近 90 天)
Reflection-Beam-1.0 在 vLLM 上实现了 Day-0 支持,即模型发布当天即可在 vLLM 上运行。
Reflection-Beam-1.0 总参数规模达到 501B,每次推理仅激活 23B 参数。
Reflection-Beam-1.0 配备了高达 1M token 的上下文窗口。
Reflection-Beam-1.0 采用了混合专家(MoE)架构(基于总参数与激活参数的差异推断)。
Reflection-Beam-1.0 结合了混合注意力机制来处理超长序列。
Reflection-Beam-1.0 集成了 Harmony 格式的推理与工具使用能力。
SkyRL(由 NovaSkyAI 开发)为 Reflection-Beam-1.0 提供了 Day-0 强化学习训练支持,涵盖 LoRA 微调、BF16 全参数微调和 MXFP8 精度 RL 训练,并使用 vLLM 进行 rollout 采样。
目前 Reflection-Beam-1.0 的基准测试表现、实际推理延迟、1M 上下文下的有效召回率等关键数据尚未披露。
全部知识事实 (8)
Reflection-Beam-1.0 在 vLLM 上实现了 Day-0 支持,即模型发布当天即可在 vLLM 上运行。
50%待验证Reflection-Beam-1.0 总参数规模达到 501B,每次推理仅激活 23B 参数。
50%待验证Reflection-Beam-1.0 配备了高达 1M token 的上下文窗口。
50%待验证Reflection-Beam-1.0 采用了混合专家(MoE)架构(基于总参数与激活参数的差异推断)。
50%待验证Reflection-Beam-1.0 结合了混合注意力机制来处理超长序列。
50%待验证Reflection-Beam-1.0 集成了 Harmony 格式的推理与工具使用能力。
50%待验证SkyRL(由 NovaSkyAI 开发)为 Reflection-Beam-1.0 提供了 Day-0 强化学习训练支持,涵盖 LoRA 微调、BF16 全参数微调和 MXFP8 精度 RL 训练,并使用 vLLM 进行 rollout 采样。
50%待验证目前 Reflection-Beam-1.0 的基准测试表现、实际推理延迟、1M 上下文下的有效召回率等关键数据尚未披露。
50%