MODEL

ELMo

ELMo（Embeddings from Language Models）通过深层双向语言模型的内部状态，为同一个词在不同上下文中生成不同表示。原始模型使用字符 CNN 构造词元表示，再分别用前向和后向两层 LSTM 编码上下文；下游模型学习组合各层表示。它不是 Transformer，也不是文本生成模型。

发布日期：

2018-02-15

参数量：

约 93.6M

架构：

字符 CNN 词元编码器加两层双向 LSTM 语言模型；下游任务学习各层内部状态的加权组合

输入输出：

文本 → 文本

开放方式：

开源