DeepSeek Al, a Chinese company founded in 2023, is dedicated to making artificial general intelligence (AGI) a reality. Since its founding, DeepSeek Al has released several papers.

Papers

以下是 DeepSeek 公开的论文，可以从 arxiv ¹ 或 Github 上直接下载。

1. 2401.02954 DeepSeek LLM Scaling Open-Source Language Models with Longtermism 复现 Llama 2 的中英文大语言模型
2. 2401.06066 DeepSeekMoE Towards Ultimate Expert Specialization in Mixture-of-Experts 提出了细粒度专家分割（Fine-Grained Expert Segmentation）和共享专家隔离（Shared Expert Isolation）策略，通过更灵活的专家组合提升模型性能，同时保持计算成本不变，激活参数 40%
3. 2401.14196 DeepSeek-Coder When the Large Language Model Meets Programming – The Rise of Code Intelligence
4. 2402.03300 DeepSeekMath Pushing the Limits of Mathematical Reasoning in Open Language Models
5. 2403.05525 DeepSeek-VL 面向真实世界的视觉语言理解
6. 2405.04434 DeepSeek-V2 A Strong, Economical, and Efficient Mixture-of-Experts Language Model 在 MoE 基础上，进一步降低激活参数的比例
7. 2405.14333 DeepSeek-Prover Advancing Theorem Proving in LLMs through Large-Scale Synthetic Data
8. 2406.11931 DeepSeek-Coder-V2 Breaking the Barrier of Closed-Source Models in Code
9. 2408.08152 DeepSeek-Prover-V1.5 Harnessing Proof Assistant Feedback for Reinforcement Learning and Monte-Carlo Tree Search
10. 2412.19437 DeepSeek-V3 Technical Report
11. 2501.12948 DeepSeek-R1 Incentivizing Reasoning Capability in LLMs via Reinforcement Learning
12. Distilling Reasoning Capabilities from DeepSeek-R1 to Smaller Models

作为国内领先的人工智能公司，DeepSeek 在开源大语言模型领域再次斩获佳绩！从模型架构到推理能力，每一步创新都让人惊艳！所有的秘密其实都以论文形式公开发表出来了，有心人可以自行阅读，体会探索的快乐 🎉

🚀 基础模型全面升级

1. 从稠密模型到 MoE 架构 DeepSeek 从最初的稠密模型演进到混合专家模型（MoE），并不断优化训练算法，实现更大的规模和更低的推理成本！💪

2. 首次成功规模化应用FP8训练 DeepSeek 是早期大规模成功采用 FP8 低精度训练 的团队之一，极大提升了训练效率并降低了成本！📉✨

3. 专家负载均衡技术突破 探索了 loss-free balancing 等方法，确保不同专家和 GPU 之间的使用更加均衡，最大化效率！🔄💻

4. 多头隐式注意力（MLA）领先技术 通过低维向量压缩 KV 缓存，在保持模型性能的同时，显著降低了推理成本！🧠💡

5. 多词元预测（MTP） 同时预测多个 token，增强训练信号，并降低推理延迟！⏳️✨

💡 推理能力再攀新高

1. DeepSeek-Coder 系列：代码生成能力又升级！ 📜 从论文 2401.14196 和 2406.11931 可见，DeepSeek-Coder 为开发者提供了更高效的编码工具！💻🔧

2. DeepSeek-Prover：定理证明推理全面进化 📜 在论文 2405.14333 和 2408.08152 中，DeepSeek 探索了定理证明的推理能力，并尝试了强化学习方法和规则反馈机制！📐💡

3. R1 版本：强化学习与规则引导的完美结合 📜 根据论文 2501.12948，DeepSeek-R1 使用更简单的规则和生成长思维链的方式，通过强化学习让模型自我优化，实现了卓越的推理能力！💪🚀

🎯 研究亮点解读

1. 勇于创新，探索前沿技术 DeepSeek 在模型架构和训练算法方面进行了大胆创新，例如 MLA 和 MTP 技术！💡🔥

2. 严谨治学，分享可复现研究成果 DeepSeek 在论文中公开了大量内部研究细节，并提供技术报告，为社区提供宝贵参考！📚🎯

3. 开源精神，推动社区共同进步 DeepSeek 的研究成果对 AI 领域具有重要意义，推动了代码智能和数学推理的发展！💖🌱

✨ 意义非凡

• 重塑代码智能与数学推理领域： DeepSeek 的研究为代码生成、定理证明等领域提供了全新思路！💻✨

• 为强化学习提供新方向： DeepSeek 的创新性方法为强化学习领域注入新活力！🔄💪

• 模型设计更简单更高效： 证明 AI 模型可以更加简洁高效，并取得更好的效果！🎯🔥