待验证50% 置信事实精确时间
RoBERTa是Facebook AI于2019年提出的预训练语言模型,可视为BERT的优化版本,去掉了下一句预测任务、使用更大的批次和更多数据、采用动态掩码机制。
1
来源数
50%
置信度
长期有效
时效性
2026/11/3
首次发现
来源
涉及实体
相关事实
待验证2018年BERT预训练模型问世,通过在海量文本上预训练,模型能够捕捉词语在不同语境下的细微含义差异68% 相似待验证RAG检索增强生成由Lewis等人于2020年在Facebook AI Research提出,核心在于将参数化知识与非参数化知识解耦,使知识更新无需重新训练模型66% 相似已验证预训练的核心目标是让模型具备预测下一个词(Predict Next Token)的能力,基于Transformer架构中的因果注意力机制64% 相似已验证大语言模型的预训练阶段本质上属于自监督学习,是一种特殊的非监督学习,模型通过预测下一个词来从海量文本中自动学习语言规律63% 相似待验证机器人基础模型脱胎于大语言模型与视觉-语言模型的技术范式,通过在海量多模态数据上进行预训练,使单一模型具备跨任务、跨场景的泛化能力63% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1132911API
curl https://kongchang.com/api/v1/knowledge/claims/1132911MCP
get_claim(id=1132911)