开源发布
Meta 发布 OPT 模型系列与受限开放的 OPT-175B
Meta 发布 125M 至 175B 的 OPT 系列；较小型号与代码公开，OPT-175B 则采用非商业许可和申请制研究访问。
EVENT ARCHIVE
事件
研究发布
DeepMind 公布视觉语言模型 Flamingo
DeepMind 公布 800 亿参数视觉语言模型 Flamingo，可通过少量示例处理图像、视频和文本任务。
开源发布
模型发布
模型发布
Google 发表 540B 参数 PaLM
Google 公布由 Pathways 训练的 540B 参数稠密语言模型；首发为研究披露，并未开放权重或通用 API。
模型发布
研究发布
DeepMind 公布竞赛编程系统 AlphaCode
DeepMind 公布代码生成系统 AlphaCode，其 Codeforces 表现达到约参赛者中位水平。
模型发布
论文发布
研究发布
DeepMind 公布 2800 亿参数语言模型 Gopher
DeepMind 公布 2800 亿参数语言模型 Gopher 及其能力、局限和风险研究，但未开放模型权重或公共调用入口。
模型发布
模型发布
模型发布
开源发布
模型发布
开源发布
模型发布
论文发表
Google 发表 Switch Transformer 论文，训练 1.6T 稀疏模型
Switch Transformer 把每个 token 路由到单个专家，在保持稀疏计算的同时把总参数规模扩展到约 1.6T。
模型发布
OpenAI 公布 12B 文生图模型 DALL·E
OpenAI 公布 DALL·E：一个把文本与离散图像 token 作为单一序列建模的 12B 参数自回归 Transformer。
模型发布