MODEL

PaLM

PaLM 是 Google 使用 Pathways 系统训练的 540B 参数稠密 decoder-only Transformer。它在两个 TPU v4 Pod、共 6,144 个芯片上完成训练，并用于研究大规模模型在少样本语言理解、推理、多语言任务和代码生成中的表现。

发布日期：

2022-04-04

参数量：

540B

架构：

540B 参数的稠密 decoder-only Transformer；使用 Pathways 在两个 TPU v4 Pod、共 6,144 个芯片上训练

输入输出：

文本 → 文本

开放方式：

闭源