MODEL

XLNet

XLNet 是面向语言理解的预训练表示模型。它对不同因子分解顺序的排列取期望，以自回归目标利用双向上下文，同时避免在预训练输入中加入下游任务不会出现的掩码标记；骨干网络继承 Transformer-XL 的相对位置编码与段级记忆。首发开放 XLNet-Large 检查点和 TensorFlow 代码，Base 检查点随后于 2019 年 7 月开放。

发布日期：

2019-06-19

参数量：

约 110M（Base）/ 340M（Large）

架构：

基于 Transformer-XL 的双流自注意力网络；以排列语言建模目标在不插入掩码的情况下学习双向上下文

输入输出：

文本 → 文本

交互方式：

普通请求

开放方式：

开源