MODEL

RoBERTa

改进 BERT 训练策略，移除下一句预测任务以提升性能。 参数规模：0.355B；开放方式：开源；主要架构：仅编码器 Transformer。

发布日期：

2019-07-26

参数量：

0.355B

架构：

仅编码器 Transformer

模态：

文本

开放方式：

开源