DeepSeek
模型概述
DeepSeek 是由深度求索（DeepSeek）公司开发的大型语言模型系列，以卓越的推理能力和创新的架构设计而受到广泛关注。DeepSeek 系列模型在数学推理、代码生成等任务上表现突出。
混合专家模型（MoE）架构
DeepSeek 采用了混合专家模型（Mixture of Experts, MoE） 架构，其核心特点：
- 稀疏激活：每个输入只激活部分专家（Expert），而非全部参数
- 路由机制：通过门控网络（Router/Gate）决定将 token 分配给哪些专家
- 计算高效：在保持大参数容量的同时控制推理计算量
MoE 架构使得 DeepSeek 能够在相同计算预算下拥有更大的模型容量，兼顾性能与效率。
推理能力
DeepSeek 在数学推理和逻辑推理方面具有突出表现：
- 在数学竞赛和基准测试中达到领先水平
- 支持复杂的多步推理过程
- 具备强大的代码理解和生成能力
技术创新
- DeepSeek-R1：通过强化学习增强推理能力，展现出类似思维链的推理行为
- 高效的训练策略：优化训练流程以降低成本
- 开放生态：部分模型以开源方式发布，推动社区发展
链接到
- 上一个知识点：11.8 ChatGPT大模型
- 下一个知识点：无（本章最后一个知识点）