MODEL

Switch Transformer

Switch Transformer 将 T5 编码器—解码器中的部分前馈层替换为稀疏专家层。路由器为每个 token 选择一个专家，扩大总参数量时不必在每次计算中激活全部参数。论文训练的最大 Switch-C 配置包含 2048 个专家、约 1.6T 参数；Google 官方账号也公开了多种预训练检查点。

发布日期：

2021-01-11

参数量：

最高 1.6T（Switch-C，2048 个专家）

架构：

T5 式编码器—解码器稀疏 MoE；每个 token 在前馈层只路由到一个专家

输入输出：

文本 → 文本

开放方式：

开源