重大论文发表已确认
Google 团队发表 Transformer 论文
论文提出完全基于注意力的编码器—解码器架构，以并行化训练取代循环网络的逐步计算。
GOGoogle DeepMind已核验来源
想引用重要AI新闻？随时能找到。
事件详情
2017 年 6 月 12 日，Google 研究团队提交《Attention Is All You Need》。论文提出 Transformer：编码器和解码器均由自注意力与前馈网络堆叠而成，不再依赖循环网络或卷积。原始实验面向机器翻译；big 版本在 WMT 2014 英德任务取得 28.4 BLEU，在英法任务取得 41.8 BLEU。Google 随后通过 Tensor2Tensor 提供训练实现，但没有把“Transformer”作为单一通用预训练权重发布。
影响评估
Transformer 改写了序列建模的基础结构，后来成为语言、视觉、音频和多模态模型的核心架构之一；其技术与生态影响持续至今。
技术影响5/5
能力、架构、训练方法或研究路线的推动程度
市场影响3/5
产品采用、商业模式和行业竞争格局的变化
生态影响5/5
对开发者、开源社区、平台和上下游的带动
政策与社会1/5
监管、安全、劳动方式和公众认知层面的影响
影响范围5/5
事件影响从局部团队扩展到全球行业的广度
持续性5/5
影响是否会沉淀为长期能力、惯例或结构性变化
关联事件
论文发表