待验证50% 置信发布精确时间
腾讯 U2LLM A7B Base 开源,是视觉语言 MoE 预训练模型,总参数约 1200 亿,每 Token 激活约 70 亿,训练上下文 262144 Token,训练用了 11.5 万亿多模态 Token;结构上采用 KDA 与 Gated MLA 交错的混合注意力,MoE 部分有 256 个路由专家、Top8 加一个共享专家,共 48 层,视觉编码器为千问 3 VL MoE;评测中 MMLU Pro 5-Shot EM 为 78.61,GPQA Main 为 68.53,MBPP+ 为 89.15。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/25
首次发现
有效期至:2027/1/23
来源
涉及实体
相关事实
待验证Tiny-MoE在80亿(8B)token上从零训练,使用FineWeb-Edu、Cosmopedia v2和OpenWebMath数据集64% 相似待验证实验环境为单张NVIDIA H100,通过vLLM服务,测试模型为Gemma 4 12B和Gemma 4 31B,输入数据为5000万token的真实公开文本62% 相似待验证现代大语言模型的训练在算力层面依赖NVIDIA等公司的专用GPU芯片以及AWS、微软Azure等云服务提供商61% 相似待验证向量嵌入通常使用针对代码训练的嵌入模型(如OpenAI的text-embedding-3、Voyage AI的voyage-code-2),将代码块映射为768维或1536维向量60% 相似待验证OpenBMB发布了面向LLM预训练的开放英文网页语料库UltraFineWeb,总量超过1万亿token、约11.4亿篇文档,全部来自Common Crawl并以Apache 2.0许可证开放60% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1094870API
curl https://kongchang.com/api/v1/knowledge/claims/1094870MCP
get_claim(id=1094870)