MODEL

GPT-2

GPT-2 是 OpenAI 训练的 decoder-only 自回归 Transformer 家族，最大版本为 1.5B 参数，使用约 40GB、来自 800 万网页的 WebText 训练。它展示了仅靠语言建模目标和提示即可在多类任务上出现零样本迁移，但这些任务的表现并不稳定，许多结果仍落后于专用系统。

发布日期：

2019-02-14

参数量：

124M / 355M / 774M / 1.5B

架构：

decoder-only 自回归 Transformer；以预测下一个 token 为训练目标

输入输出：

文本 → 文本

开放方式：

开源