模型索引

Databricks 开源的 1320 亿参数 MoE 模型，提升了当时的开源基准记录。 参数规模：132B (MoE)；开放方式：开源；主要架构：混合专家 Transformer（MoE）。

Grok-1 是 xAI 从头预训练的 3140 亿参数混合专家基础模型。网络包含 8 个专家，每个 token 激活 2 个，约 25% 的权重参与当次计算；上下文上限为 8192 个 token。xAI 公开的是预训练基础检查点和网络架构，不是经过对话或指令微调的助手模型。官方仓库提供 JAX 加载与采样示例，并明确说明示例中的 MoE 实现以验证正确性为主，没有针对推理效率优化。

在上一代基础上重点提升了代码和数学推理能力。 参数规模：未知；开放方式：闭源；主要架构：自回归 Transformer。

Claude 3 系列覆盖速度、成本和能力的不同档位，同时改进拒答准确性、长上下文和多模态理解。

Mistral AI 针对较低延迟和部署成本设计的闭源商用版本。 参数规模：未知；开放方式：闭源；主要架构：自回归 Transformer。

Mistral AI 推出的规模更大、性能更高的闭源商用模型。 参数规模：未知；开放方式：闭源；主要架构：自回归 Transformer。

基于 Gemini 技术架构提取并发布的轻量级开源模型。 参数规模：7B；开放方式：开源；主要架构：自回归 Transformer。

引入新架构，原生支持最高 100 万 token 的极长上下文窗口。 参数规模：未知；开放方式：闭源；主要架构：自回归 Transformer。

Gemini 1.0 Ultra 是 Gemini 1.0 家族中面向复杂任务的最大规格。Google 未公开其参数规模。Ultra 于 2023 年 12 月随 Gemini 1.0 一同公布，但当时仍在安全评估；2024 年 2 月 8 日，Google 通过付费订阅产品 Gemini Advanced 首次向普通用户开放 Ultra 1.0。

采用深度扩展（Depth Up-Scaling）技术构建的 107 亿参数模型。 参数规模：10.7B；开放方式：开源；主要架构：自回归 Transformer。

微软推出的小参数模型，验证了高质量“教科书级”训练数据对性能的提升作用。 参数规模：2.7B；开放方式：开源；主要架构：自回归 Transformer。

采用 8x7B 混合专家（MoE）架构的开源模型，兼顾了模型性能与推理效率。 参数规模：46.7B (MoE)；开放方式：开源；主要架构：混合专家 Transformer（MoE）。

Gemini 1.0 是 Google DeepMind 的第一代原生多模态模型家族，包含 Ultra、Pro 和 Nano。模型从预训练阶段联合处理文本、图像、音频和视频；Google 未公开各规格的参数规模。首发时 Pro 进入 Bard，Nano 用于 Pixel 8 Pro，Gemini Pro API 于 12 月 13 日开放，Ultra 则在 2024 年 2 月通过 Gemini Advanced 上线。

Inflection AI 的第二代基础模型，综合基准测试成绩有明显提升。 参数规模：未知；开放方式：闭源；主要架构：自回归 Transformer。

Stable Video Diffusion 是基于 Stable Diffusion 的图生视频基础模型，首批 SVD 与 SVD-XT 分别生成 14 帧和 25 帧视频。

微软推出的第二代 Orca 模型，致力于提升小参数量模型的逻辑推理能力。 参数规模：13B；开放方式：开源；主要架构：自回归 Transformer。

Claude 2.1 是 Anthropic 发布的闭源语言模型更新，建立在 Claude 2 基座之上，支持文本输入与文本输出，并提供 20 万 token 上下文窗口。

开源社区基于开源基座微调的对话模型版本。 参数规模：34B；开放方式：开源；主要架构：自回归 Transformer。

OpenAI 面向高质量文本转语音场景推出的语音合成模型，可通过 Audio API 的 Speech 端点生成自然语音。

OpenAI 面向低延迟文本转语音场景推出的语音合成模型，可通过 Audio API 的 Speech 端点生成自然语音。