关键开源发布已确认
xAI 开放 Grok-1 权重与架构
xAI 以 Apache 2.0 许可证发布 Grok-1 的 3140 亿参数基础模型权重和网络架构。
XAxAI已核验来源
想引用重要AI新闻？随时能找到。
事件详情
2024 年 3 月 17 日，xAI 以 Apache 2.0 许可证发布 Grok-1 的基础模型权重和网络架构。Grok-1 共 3140 亿参数，采用由 8 个专家组成的混合专家架构；每个 token 选择 2 个专家，约 25% 的权重参与当次计算。模型的上下文上限为 8192 个 token。 这份检查点停留在 2023 年 10 月结束的预训练阶段，没有针对对话或其他具体任务微调。官方仓库提供加载和采样用的 JAX 示例代码，但明确提示完整模型需要大量 GPU 显存，且示例中的 MoE 实现为了验证正确性，没有针对推理效率优化。因此，这次开放提供了完整权重和架构细节，直接部署门槛也很高。
影响评估
Grok-1 是当时少见的超大规模开放权重混合专家模型。完整权重、架构细节和 Apache 2.0 许可便于研究与再利用；但 3140 亿参数的体量和未优化的参考实现，把实际使用限制在具备大规模 GPU 资源的团队。
技术影响4/5
能力、架构、训练方法或研究路线的推动程度
市场影响2/5
产品采用、商业模式和行业竞争格局的变化
生态影响4/5
对开发者、开源社区、平台和上下游的带动
政策与社会1/5
监管、安全、劳动方式和公众认知层面的影响
影响范围3/5
事件影响从局部团队扩展到全球行业的广度
持续性3/5
影响是否会沉淀为长期能力、惯例或结构性变化