JetBrains 推出的开源 LLM，针对最看重延迟和性能的真实开发工作流进行了优化。
Mellum 理解代码、上下文和意图，超越纯代码补全，以同时支持自然语言和编程任务。
混合专家 (MoE) 架构可以实现超低延迟推理和高吞吐量，速度通常可以达到同规模模型的两倍，同时将 MoE 能力引入规模更小的模型类别中。
Mellum 在实现超高编码质量的同时，将推理成本减半，这是因为每个请求激活的参数更少，计算资源利用效率较高。
Mellum 基于透明数据进行训练，并通过对齐确保一致性，可以在本地或云端进行微调和部署，让您能够完全掌控性能、隐私和基础架构。
Mellum 专为 AI/ML 工程师和研究人员打造，可以驱动高效的真实 AI 工作负载，适用于从代码补全到更广泛的语言和编程任务，并支持本地部署和云端部署。
一款拥有 120 亿参数的开源混合专家模型，专为实时工作流而设计，将强大的编码和语言能力与非凡的效率相结合。
一款专为全面实现多语言代码理解和补全而构建的开源编码模型。
分析输入提示，并为每项任务选择合适的模型，基于用例和要求在模型之间实现快速、智能路由。
检索相关信息，并利用 Mellum 快速总结和生成回答，确保问答系统快速提供响应。
将智能体流水线拆分为多个步骤，如上下文收集、规划和验证，使用 Mellum 执行快速、专门的任务，而非依赖单一的大模型。
通过本地或自托管部署，让代码和数据完全处于您的掌控之下，以满足私有和主权 AI 用例的需求。
我们之所以构建 Mellum，是因为并非每项任务都需要最大型或最复杂的模型。通过聚焦性能、延迟和成本，我们打造出一款专为从实验迈向生产的开发者和团队而设计的模型。
JetBrains Mellum 是专为高效的真实 AI 工作负载而设计的快速语言模型系列。它最初是一款侧重于代码的模型，现已演进为可以同时支持编程和自然语言任务，能够在广泛的用例中实现快速、经济高效的推理。
最新的 Mellum 模型引入了一种专门针对性能和效率进行优化的全新混合专家架构。该架构可以超越代码补全，支持更广泛的语言和编程任务，并专为低延迟、实时用例和生产部署而设计。
大模型虽功能强大，但成本高昂，并且在大规模应用时运行速度更慢。
Mellum 专为以下场景设计：
最新一代 Mellum 从零开始进行预训练，混合使用自然语言和代码数据，侧重于编码和数学领域。此后，我们通过后训练进一步提升模型质量，使其可与其他小型开源 LLM 相媲美。
我们基于超 10 万亿 token 的宽松许可代码、Web 文本和数学数据对 Mellum2 进行预训练。预训练分为三个阶段：首先，使用约 6 万亿 token 的以 Web 数据为主的数据训练模型；然后，使用 2.8 万亿 token 的高质量数据继续训练，但此阶段侧重于编码。最后，使用 1.7 万亿 token 的最高质量数据进行训练，此阶段代码类 token 占比超过 50%。
随后进行大规模后训练：首先，对 500 亿 token 的指令遵循数据进行受监管微调 (SFT)，然后在多样化的编程、数学与推理环境中，通过可验证奖励的强化学习 (RLVR) 进一步优化。
通过广泛的预训练、对编码和数学的逐步聚焦，以及利用 SFT 和 RLVR 的针对性后训练，这些阶段共同确保 Mellum2 模型的结构紧凑，并成为小型开源 LLM 中的有力竞争者。
如果要详细了解 Mellum1 是如何训练的，请阅读这篇博文。
Mellum 采用混合专家设计，每个请求仅激活一小部分参数，在降低计算需求的同时保持高输出质量。在 GPU 上，VRAM 需要同时容纳模型权重和 KV 缓存，而后者会随着每个并行请求和每个上下文 token 的增加而持续增长。我们有意将 Mellum 设计为每个请求仅占用紧凑的 KV 缓存空间，因此，单个 GPU 可为更多并发用户服务，而不会耗尽内存。这样一来，可以在 H100/H200 GPU 以及较新的 B200 和 B300 硬件上实现高效部署 — 甚至仅需单个 GPU 即可运行。
Mellum2：支持英语和所有主流编程语言的通用聊天界面。
Mellum1: Java、Kotlin、Python、Go、PHP、C、C++、C#、JavaScript、TypeScript、CSS、HTML、Rust 和 Ruby。
是的，Mellum 基于 Apache 2.0 许可证发布，其开放权重可在 Hugging Face 上获取。
您也可以直接试用 Mellum：