模型纪年LLM TIMELINE

MODEL INDEX

模型索引

从模型家族、发布状态和关键事件理解能力演进。

1 EVENTS

针对印度本土复杂碎片化语言生态特点特化训练的 20 亿参数小规模基础模型。参数规模：2B；开放方式：开源；主要架构：自回归 Transformer。

1 EVENTS

字节跳动进一步更新其内部的闭源基础模型，支撑其企业内应用矩阵生态。参数规模：未知；开放方式：闭源；主要架构：自回归 Transformer。

1 EVENTS

HuggingFace 设计的微型参数量系列，适用在智能手机等硬件上纯本地运行。参数规模：1.7B；开放方式：开源；主要架构：自回归 Transformer。

Snowflake Arctic

1 EVENTS

Snowflake 推出的 MoE 模型，主要针对 SQL 查询和企业代码生成任务优化。参数规模：480B (MoE)；开放方式：开源；主要架构：混合专家 Transformer（MoE）。

1 EVENTS

Stability AI 推出的基础语言模型开源系列。参数规模：7B；开放方式：开源；主要架构：自回归 Transformer。

1 EVENTS

专为代码生成与编程任务训练的开源大模型。参数规模：15.5B；开放方式：开源；主要架构：自回归 Transformer。

1 EVENTS

阶跃星辰推出的千亿规模开源模型，着重优化了生成延迟与推理出词效率。参数规模：196B MoE；开放方式：开源；主要架构：混合专家 Transformer（MoE）。

Switch Transformer

1 EVENTS

采用 MoE 架构，参数量首次达到万亿规模级别。参数规模：1571B；开放方式：开源；主要架构：混合专家 Transformer（MoE）。

1 EVENTS

将多种自然语言处理任务统一为“文本到文本”格式。参数规模：11B；开放方式：开源；主要架构：编码器–解码器 Transformer。

1 EVENTS

论文《Attention Is All You Need》用自注意力机制替代循环结构，显著提高并行训练效率，并成为此后大语言模型的基础架构。

1 EVENTS

Arcee AI 采用模型融合（Model Merging）技术构建的 4000 亿级大型混合专家拼接开源模型。参数规模：400B MoE；开放方式：开源；主要架构：混合专家 Transformer（MoE）。

1 EVENTS

基于用户共享的高质量对话数据微调，表现接近早期的 ChatGPT。参数规模：13B；开放方式：开源；主要架构：自回归 Transformer。

1 EVENTS

采用 Evol-Instruct 方法微调的开源代码生成模型。参数规模：34B；开放方式：开源；主要架构：自回归 Transformer。

1 EVENTS

微软推出的新一代开源模型系列，指令遵循和复杂任务表现较好。参数规模：8x22B；开放方式：开源；主要架构：自回归 Transformer。

1 EVENTS

结合自回归与自编码架构，提出置换语言模型。参数规模：0.340B；开放方式：开源；主要架构：自回归 Transformer。

1 EVENTS

零一万物发布的基础开源模型，支持最高 20 万 token 的上下文长度。参数规模：34B；开放方式：开源；主要架构：自回归 Transformer。

1 EVENTS

零一万物采用 MoE 架构的高性能闭源模型，公开评测榜单表现良好。参数规模：未知 (MoE)；开放方式：闭源；主要架构：混合专家 Transformer（MoE）。

1 EVENTS

结合直接偏好优化（DPO）算法微调，提升了对话意图的对齐效果。参数规模：7B；开放方式：开源；主要架构：自回归 Transformer。

1 EVENTS

智谱多模态模型升级版，提升了视觉感知能力与图文联合理解的准确度。参数规模：32B；开放方式：开源；主要架构：自回归 Transformer。

1 EVENTS

小红书结合自身平台图文社区的特定高质数据训练出的 MoE 大模型。参数规模：142B MoE；开放方式：开源；主要架构：混合专家 Transformer（MoE）。