gemma2

概述

Gemma 2 是由 Google DeepMind 开发的开源语言模型系列，于 2024 年 6 月发布。它基于与 Gemini 模型相同的研究和技术构建，在性能和效率之间取得了平衡。该模型提供三种规模：20 亿 (2B)、90 亿 (9B) 和 270 亿 (27B) 参数。Gemma 2 设计轻量且易于访问，使开发者和研究人员能够在消费级硬件上本地运行强大的 AI 模型，或在云环境中以较低的计算成本运行。

Gemma 2 的主要特点包括：

• 最先进的性能：尽管规模较小，Gemma 2 在 MMLU、HellaSwag 和 HumanEval 等基准测试中取得了有竞争力的结果，通常优于同类大型模型。
• 高效架构：使用分组查询注意力 (GQA) 和滑动窗口注意力等先进技术，优化内存使用和推理速度。
• 开放权重：在许可协议 (Gemma License) 下提供，允许商业使用、修改和再分发。
• Ollama 集成：通过 Ollama 使用单条命令即可轻松本地运行，便于个人项目、原型设计和离线使用。

能力

Gemma 2 支持多种自然语言处理任务，包括：

• 文本生成：创意写作、摘要、翻译和对话式 AI。
• 推理：逻辑推理、数学问题求解和常识推理。
• 编码：代码生成、解释、调试和编程语言之间的翻译。
• 指令遵循：能够遵循复杂指令并在长对话中保持上下文（最多 8k 令牌的上下文窗口）。
• 多语言支持：基于多语言数据训练，在英语方面表现强劲，在其他主要语言中也具有合理的能力。

该模型针对 CPU 和 GPU 推理进行了优化，2B 变体可在内存低至 2GB 的设备上运行。9B 和 27B 变体需要更多资源，但提供更高的准确性。

使用场景

Gemma 2 适用于多种应用，包括：

• 本地 AI 助手：在笔记本电脑或边缘设备上运行私密、离线的聊天机器人，无需依赖云 API。
• 教育工具：提供辅导、作业帮助和交互式学习体验。
• 代码辅助：集成到 IDE 中，用于代码补全、错误修复和文档生成。
• 内容创作：生成文章、故事、营销文案和社交媒体帖子。
• 研究：针对特定领域任务进行微调，如医疗问答、法律文档分析或科学文献综述。
• 原型设计：无需高基础设施成本即可快速测试应用中的 AI 功能。

许可与部署

Gemma 2 在 Gemma License 下发布，这是一种宽松的许可协议，允许：

• 免费使用、修改和分发。
• 商业使用，包括集成到产品和服务中。
• 再分发模型权重和衍生作品。

但是，该许可包含限制使用模型改进竞争模型的要求，并需要注明出处。有关完整详情，请参阅官方许可。

部署选项：

• Ollama：本地部署的最简单方法。运行 ollama run gemma2 启动交互式会话。支持通过 CUDA 和 Metal 进行 GPU 加速。
• Hugging Face Transformers：使用 transformers 库加载模型，用于自定义推理管道。
• Google Cloud：在 Vertex AI 或 Cloud Run 上部署，用于可扩展的云推理。
• ONNX Runtime：转换为 ONNX 格式，在各种硬件上进行优化推理。

替代方案

• Llama 3 (Meta)：类似的开源模型系列，规模从 8B 到 70B。性能强劲，但内存占用较大。
• Mistral (Mistral AI)：高效模型，如 Mistral 7B 和 Mixtral 8x7B，以速度和质量著称。资源受限环境下的良好替代方案。
• Phi-3 (Microsoft)：针对移动和边缘设备优化的小型语言模型 (3.8B、7B、14B)。直接与 Gemma 2B 竞争。
• Qwen (阿里云)：多语言模型，规模高达 72B，在中文和英语任务中表现强劲。
• Falcon (TII)：开源模型，规模为 7B 和 40B，适用于研究和商业用途。

常见问题

问：本地运行 Gemma 2 需要什么硬件？ 答：2B 模型可在 4GB RAM 的 CPU 上运行，而 9B 模型至少需要 8GB RAM 和 6GB VRAM 的 GPU 才能获得合理速度。27B 模型需要 16GB+ VRAM。

问：我可以微调 Gemma 2 吗？ 答：可以，模型权重是开放的，可以使用 Hugging Face PEFT、LoRA 或 QLoRA 等框架进行微调。

问：Gemma 2 可以免费用于商业用途吗？ 答：可以，根据 Gemma License，您可以将其用于商业用途，但必须遵守使用限制（例如，不得用于改进竞争模型）。

问：Gemma 2 与 Gemini 相比如何？ 答：Gemma 2 是一个较小的开源模型，源自与 Gemini 相同的研究。Gemini 是一个更大的专有模型，具有多模态能力，而 Gemma 2 专注于纯文本任务和本地部署。

问：在哪里可以下载模型权重？ 答：官方仓库在 Hugging Face 上：google/gemma-2-9b-it（其他规模类似）。Ollama 也会自动下载它们。