MODEL

Transformer

原始 Transformer 是面向序列转换的编码器—解码器架构。编码器和解码器各有 6 层，核心组件包括多头自注意力、前馈网络、残差连接和位置编码；解码器在生成目标序列时采用因果遮罩。论文报告的 base 与 big 版本分别约有 65M 和 213M 参数，主要在 WMT 2014 英德、英法机器翻译任务上评估。

发布日期：

2017-06-12

参数量：

65M（base）/ 213M（big）

架构：

6 层编码器与 6 层解码器组成的序列到序列 Transformer；以多头自注意力替代循环和卷积

输入输出：

文本 → 文本

开放方式：

部分开源