模型纪年LLM TIMELINE

模态

# 文本

文本相关模型与事件

论文发表

OPOpenAI重大

GPT-3 论文发表

1750 亿参数 GPT-3 展示无需梯度更新的上下文学习能力。

#闭源#里程碑#文本#规模化
00

开源发布

MEMeta重大开源

Meta 发布 RoBERTa

改进 BERT 训练策略，移除下一句预测任务以提升性能。

#开源#文本
00

模型发布

OPOpenAI关键开源

OpenAI 发布 GPT-2

GPT-2 展示大规模语言模型的零样本迁移能力，并采用分阶段发布策略。

#开源#文本#分阶段发布#安全
00

论文发表

GOGoogle DeepMind重大开源

Google 发布 BERT

BERT 以双向预训练刷新多项自然语言理解基准。

#里程碑#开源#文本#预训练
00

开源发布

OPOpenAI关键开源

OpenAI 发布 GPT-1

证实生成式预训练在自然语言处理中的潜力。

#开源#文本
00