EVENT ARCHIVE

事件

2019-11-05

开源发布

OPOpenAI关键开源

OpenAI 发布 GPT-2 1.5B 完整权重

OpenAI 发布 GPT-2 最大规格的代码与模型权重，结束持续九个月的分阶段发布实验。

2019-10-23

论文发表

T5 将多类自然语言处理任务统一为文本到文本形式，并发布从 60M 到 11B 的模型系列。

2019-07-26

开源发布

MEMeta重大开源

Facebook AI Research 通过调整数据、批量、训练时长和掩码策略，重新训练 BERT，并公开 RoBERTa 论文、权重与 fairseq 实现。

2019-06-19

开源发布

Google Brain 与卡内基梅隆大学研究者提出 XLNet，并同步开放 XLNet-Large 检查点和 TensorFlow 代码。

2019-02-14

模型发布

OPOpenAI重大开源

OpenAI 公布最大 1.5B 参数的 GPT-2，但因滥用风险只先开放较小版本，由此启动持续九个月的分阶段发布实验。

2018-10-11

论文发表

BERT 以双向 Transformer 编码器统一多类自然语言理解任务，随后公开代码和预训练检查点。

2018-06-11

开源发布

OPOpenAI重大开源

OpenAI 公开两阶段迁移学习方案：先以语言建模预训练 Transformer，再用少量任务适配完成多类自然语言理解任务。

2018-02-15

开源发布

AllenNLP 团队提出 ELMo：从双向 LSTM 语言模型的内部状态提取随上下文变化的词表示，并公开实现与预训练权重。

2017-06-12

论文发表

论文提出完全基于注意力的编码器—解码器架构，以并行化训练取代循环网络的逐步计算。