模型纪年TIMELINE.AICANDO.XYZ

EVENT ARCHIVE

事件

8月28日 · 周五
8月20日 · 周四
8月15日 · 周六
8月14日 · 周五
8月13日 · 周四
8月13日 · 周四
8月12日 · 周三
8月12日 · 周三
8月10日 · 周一
8月5日 · 周三

2019-02-14

模型发布

OPOpenAI重大开源

OpenAI 公布 GPT-2 并启动分阶段发布

OpenAI 公布最大 1.5B 参数的 GPT-2，但因滥用风险只先开放较小版本，由此启动持续九个月的分阶段发布实验。

2018-10-11

论文发表

GOGoogle DeepMind重大开源

Google 发表 BERT 论文并开放预训练模型

BERT 以双向 Transformer 编码器统一多类自然语言理解任务，随后公开代码和预训练检查点。

2018-06-11

开源发布

OPOpenAI重大开源

OpenAI 发布生成式预训练 Transformer（后称 GPT-1）

OpenAI 公开两阶段迁移学习方案：先以语言建模预训练 Transformer，再用少量任务适配完成多类自然语言理解任务。

2018-02-15

开源发布

ALAllen Institute for AI重大开源

ELMo 论文提出深度上下文化词表示

AllenNLP 团队提出 ELMo：从双向 LSTM 语言模型的内部状态提取随上下文变化的词表示，并公开实现与预训练权重。

2017-06-12

论文发表

GOGoogle DeepMind重大

Google 团队发表 Transformer 论文

论文提出完全基于注意力的编码器—解码器架构，以并行化训练取代循环网络的逐步计算。