MODEL

GShard

早期探索混合专家（MoE）架构的大规模模型。 参数规模：600B；开放方式：闭源；主要架构：混合专家 Transformer（MoE）。

发布日期：

2020-06-30

参数量：

600B

架构：

混合专家 Transformer（MoE）

模态：

文本

开放方式：

闭源