BE

MODEL

BERT

BERT 通过 Masked Language Model 学习双向上下文,并以预训练加微调范式推动自然语言处理进入新的阶段。

发布日期:
2018-10-11
参数量:
0.340B
架构:
仅编码器 Transformer
模态:
文本
开放方式:
开源
1 个相关事件

相关事件

按时间倒序整理已验证的发布与公司动态。

论文发表

GOGoogle DeepMind重大开源

Google 发布 BERT

BERT 以双向预训练刷新多项自然语言理解基准。

#里程碑#开源#文本#预训练
00