模型发布
SEARCH
搜索事件
研究发布
DeepMind 公布竞赛编程系统 AlphaCode
DeepMind 公布代码生成系统 AlphaCode,其 Codeforces 表现达到约参赛者中位水平。
模型发布
论文发布
研究发布
DeepMind 公布 2800 亿参数语言模型 Gopher
DeepMind 公布 2800 亿参数语言模型 Gopher 及其能力、局限和风险研究,但未开放模型权重或公共调用入口。
模型发布
模型发布
模型发布
开源发布
模型发布
开源发布
模型发布
论文发表
Google 发表 Switch Transformer 论文,训练 1.6T 稀疏模型
Switch Transformer 把每个 token 路由到单个专家,在保持稀疏计算的同时把总参数规模扩展到约 1.6T。
模型发布
OpenAI 公布 12B 文生图模型 DALL·E
OpenAI 公布 DALL·E:一个把文本与离散图像 token 作为单一序列建模的 12B 参数自回归 Transformer。
模型发布
模型发布
模型发布
GShard 论文展示超过 600B 参数的稀疏专家翻译模型
Google 研究者提出 GShard 自动分片机制,并用它在 2,048 个 TPU v3 上训练超过 600B 参数的多语翻译 MoE。
API 发布
论文发表
模型发布