待验证50% 置信事实精确时间
BERTimbau 是面向巴西葡萄牙语的预训练 BERT 模型,由 neuralmind 团队在 BrWaC 等大型葡语语料上训练得到,分为 Base(约 1.1 亿参数)和 Large(约 3.3 亿参数)两个版本。
1
来源数
50%
置信度
长期有效
时效性
2026/11/11
首次发现
来源
涉及实体
相关事实
待验证BERT采用双向编码器架构,通过掩码语言模型预训练,随机遮盖15%的token并预测它们61% 相似待验证BERT-base 拥有约 1.1 亿参数,采用掩码语言模型(MLM)和下一句预测(NSP)两种自监督预训练目标,MLM 随机遮蔽输入文本中 15% 的词元60% 相似待验证大模型的训练到推理流程包括预训练、微调和推理三个阶段。59% 相似待验证预训练实验在160M和400M参数的密集模型以及一个135M激活参数、1B总参数的MoE模型上进行。58% 相似待验证2022年DeepMind发表了Chinchilla论文《Training Compute-Optimal Large Language Models》,由Jordan Hoffmann等人撰写,指出在给定计算预算下参数量与训练数据量需保持合理配比57% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1158015API
curl https://kongchang.com/api/v1/knowledge/claims/1158015MCP
get_claim(id=1158015)