Mixtral

概述

Mixtral 是由 Mistral AI 开发的大型语言模型，旨在以计算效率提供高性能。它采用稀疏混合专家（SMoE）架构，每个 token 仅激活模型参数的一个子集，从而比同等规模的密集模型实现更快的推理和更低的资源消耗。该模型提供两种尺寸：Mixtral 8x7B（总参数 46.7B，但每个 token 仅激活 12.9B）和 Mixtral 8x22B（总参数 141B，激活 39B）。它支持 32,768 个 token 的上下文长度，并且是多语言的，在英语、法语、意大利语、德语和西班牙语方面表现出色。

Mixtral 根据 Apache 2.0 许可证发布，可免费用于研究和商业用途。可以使用 Ollama 通过命令 ollama run mixtral 在本地运行。该模型还提供指令调优版本（例如 Mixtral 8x7B Instruct），以更好地与用户提示对齐。

能力

• 多语言支持：处理五种主要欧洲语言。
• 长上下文：32k token 上下文窗口，用于处理大型文档。
• 高效推理：MoE 架构降低了计算成本，同时保持高精度。
• 强基准测试：在 MMLU、HellaSwag 和 GSM8K 等许多任务上优于 Llama 2 70B 和 GPT-3.5。
• 指令遵循：微调版本（Instruct）擅长遵循复杂指令。
• 代码生成：能够用多种编程语言生成代码。
• 推理：展示出强大的逻辑推理和问题解决能力。

用例

• 聊天机器人和虚拟助手：为具有自然语言理解的对话代理提供支持。
• 内容生成：撰写文章、故事、电子邮件和营销文案。
• 代码辅助：帮助开发人员进行代码补全、调试和解释。
• 翻译：在支持的语言之间翻译文本。
• 摘要：将长文档压缩为简洁摘要。
• 教育：辅导、回答问题并解释概念。
• 研究：分析数据、生成假设并协助文献综述。

许可证与部署

• 许可证：Apache 2.0 – 允许免费使用、修改和分发，用于商业和非商业目的。
• 部署：通过 Ollama 本地运行（ollama run mixtral）。也可在 Hugging Face 和通过 Mistral AI 的 API 获取。
• 硬件要求：对于 Mixtral 8x7B，建议至少 32GB RAM；对于 8x22B，建议 64GB+ RAM。GPU 加速（例如支持 CUDA 的 NVIDIA）是可选的，但可加快推理速度。

替代方案

• Llama 2/3：Meta 的开源模型（7B、13B、70B），具有类似能力但采用密集架构。
• Mistral 7B：来自同一开发者的更小、更快的模型，适用于资源受限的环境。
• Qwen 2：阿里巴巴的开源模型，具有强大的多语言支持。
• Gemma：Google 的轻量级开源模型（2B、7B），用于高效部署。
• GPT-3.5：OpenAI 的专有模型，可通过 API 访问，具有更广泛的语言支持。

常见问题

问：Mixtral 和 Mixtral Instruct 有什么区别？ 答：Mixtral 是基础模型，而 Mixtral Instruct 针对指令遵循和聊天进行了微调，更适合对话应用。

问：我可以在 CPU 上运行 Mixtral 吗？ 答：可以，但速度会较慢。为了获得合理的性能，建议 8x7B 模型使用至少 8GB VRAM 的 GPU。

问：Mixtral 是真正的开源吗？ 答：是的，它根据 Apache 2.0 发布，允许免费使用、修改和商业部署。

问：Mixtral 与 GPT-4 相比如何？ 答：Mixtral 比 GPT-4 更小且能力较弱，但就其尺寸而言提供了有竞争力的性能，并且可免费用于本地使用。

问：Mixtral 支持哪些语言？ 答：英语、法语、意大利语、德语和西班牙语，对其他语言也有一定能力。

问：如何通过 Ollama 安装 Mixtral？ 答：从 ollama.com 安装 Ollama，然后在终端中运行 ollama run mixtral。