重大论文与权重发布已确认

DeepSeek 公开 DeepSeekMoE 架构与权重

DeepSeekMoE 通过细粒度专家划分与共享专家隔离,在更少激活计算下探索大模型稀疏化。

DEDeepSeek2024-01-11已核验来源

想引用重要AI新闻?随时能找到。

事件详情

DeepSeekMoE 论文提出细粒度专家划分与共享专家隔离;16B 模型以约 40% 的计算量达到接近 DeepSeek 7B 与 Llama 2 7B 的表现。DeepSeek 同步公开 16B Base、Chat 权重与微调代码。

影响评估

DeepSeekMoE 成为 V2 与 V3 稀疏架构路线的技术起点,把少激活参数和更低计算成本变成持续主线。

技术影响5/5

能力、架构、训练方法或研究路线的推动程度

市场影响2/5

产品采用、商业模式和行业竞争格局的变化

生态影响4/5

对开发者、开源社区、平台和上下游的带动

政策与社会1/5

监管、安全、劳动方式和公众认知层面的影响

影响范围4/5

事件影响从局部团队扩展到全球行业的广度

持续性5/5

影响是否会沉淀为长期能力、惯例或结构性变化

关联事件