MODEL

T5

T5 把翻译、摘要、问答和分类等任务统一表示为文本输入、文本输出，并通过任务前缀指定目标。原始系列包含 Small（60M）、Base（220M）、Large（770M）、3B 和 11B 五种规格，使用编码器—解码器 Transformer，在 C4 上以跨度破坏目标预训练。论文实验采用最长 512 token 的序列。

发布日期：

2019-10-23

参数量：

60M / 220M / 770M / 3B / 11B

架构：

编码器—解码器 Transformer；以跨度破坏目标进行预训练，并把所有任务统一为文本到文本

输入输出：

文本 → 文本

开放方式：

开源