模型RoBERTa base
RoBERTa-base
BERT的改进预训练语言模型,约1.25亿参数、12层,常用于微调方法的基准评测
时间轴 (近 90 天)
11月4日
论文在RoBERTa-base的GLUE基准上、遵循La-LoRA/LoRA协议进行了评估。
待验证50%
11月4日
当前LIRA的验证集中在RoBERTa-base与GLUE这类中等规模设定上,其在更大模型、更多任务类型上的表现仍有待观察。
待验证50%
BERT的改进预训练语言模型,约1.25亿参数、12层,常用于微调方法的基准评测
论文在RoBERTa-base的GLUE基准上、遵循La-LoRA/LoRA协议进行了评估。
当前LIRA的验证集中在RoBERTa-base与GLUE这类中等规模设定上,其在更大模型、更多任务类型上的表现仍有待观察。