MODEL

GShard

GShard 首先是一套轻量级并行计算注解 API 与 XLA 编译器扩展，论文同时用它训练多语机器翻译 Transformer。该模型在部分前馈层使用稀疏门控混合专家，总参数超过 600B，在 2,048 个 TPU v3 上训练 4 天，执行从 100 种语言到英语的翻译。条目记录的是这项研究系统与实验模型，不是公开 API 或通用聊天模型。

发布日期：

2020-06-30

参数量：

超过 600B（最大实验模型）

架构：

多语机器翻译 Transformer；部分前馈层采用稀疏门控混合专家，并通过 GShard 注解与 XLA 自动分片

输入输出：

文本 → 文本

交互方式：

普通请求

开放方式：

闭源