待验证50% 置信事实精确时间

Cosmopedia v2 是由 Mixtral-8x7B 等模型批量生成的合成数据集

1

来源数

50%

置信度

长期有效

时效性

2026/7/14

首次发现

来源

15岁少年从零训练200M MoE语言模型：完整架构与实战拆解

redditr/learnmachinelearning2026/7/12

相关事实

待验证Mixtral 8x7B每次前向传播仅激活2个专家59% 相似待验证OmniMerge V4是由三到四个27B模型通过权重混合融合而成的模型53% 相似待验证Mistral AI发布的Mixtral 8x7B是首个主流开放权重MoE模型，总参数46.7B、激活参数12.9B52% 相似待验证本文采用INT8+bf16混合精度策略：原始模型权重使用INT8量化（通过bitsandbytes库的LLM.int8()方法），LoRA部分使用bf16配合fp32主权重52% 相似待验证腾讯自身研发大模型混元51% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/503166

API

curl https://kongchang.com/api/v1/knowledge/claims/503166

MCP

get_claim(id=503166)