bge m3

概述

BGE-M3（BAAI 通用嵌入 - 多语言、多粒度、多功能）是北京人工智能研究院（BAAI）开发的最先进的多语言嵌入模型。它旨在处理超过 100 种语言，并支持三种检索模式：密集检索、稀疏检索（词汇匹配）和多向量检索（ColBERT 风格）。该模型基于 XLM-RoBERTa 架构，可处理多达 8192 个 token，适用于长文档。它在 MIRACL 和 MLQA 等多语言基准测试中表现出色。

能力

• 多语言支持：覆盖 100 多种语言，在低资源语言上表现强劲。
• 多功能检索：密集嵌入用于语义搜索，稀疏嵌入用于关键词匹配，多向量（ColBERT）用于细粒度相关性。
• 长上下文：支持多达 8192 个 token，实现文档级检索。
• 高效推理：提供 ONNX 格式，便于优化部署。
• 微调：可使用 sentence-transformers 针对特定领域任务进行微调。

使用场景

• 多语言语义搜索：跨不同语言的文档进行搜索。
• 跨语言信息检索：基于一种语言的查询检索另一种语言的相关内容。
• RAG（检索增强生成）：在多语言环境中用作 LLM 的检索器。
• 文档分类：生成用于文本分类的嵌入。
• 聚类与去重：跨语言对相似文本进行分组。

许可与部署

• 许可：MIT 许可证（开源）。
• 部署：可通过 Hugging Face Transformers、sentence-transformers 和 ONNX runtime 使用。可在 CPU 或 GPU 上部署。
• 官方仓库：https://huggingface.co/BAAI/bge-m3

替代方案

• E5-mistral-7b-instruct：更大的模型（7B），用于高质量嵌入，但仅支持英文。
• Multilingual-E5-large：支持 100 多种语言，但上下文较短（512 个 token）。
• LaBSE：谷歌的多语言嵌入模型，适用于双语文本挖掘，但限制为 512 个 token。
• Cohere Embed v3：专有多语言模型，token 限制为 512。
• Jina Embeddings v2：支持 8192 个 token，但语言较少。

常见问题

问：最大序列长度是多少？ 答：8192 个 token。

问：是否支持稀疏检索？ 答：是的，它同时输出密集和稀疏嵌入。

问：可以微调吗？ 答：可以，使用 sentence-transformers 或 Hugging Face Trainer。

问：支持哪些语言？ 答：超过 100 种语言，包括低资源语言。

问：有 ONNX 版本吗？ 答：有，可在 Hugging Face 上获取。

问：与 BGE-base-en 相比如何？ 答：BGE-M3 是多语言的，支持更长的上下文，而 BGE-base-en 仅支持英文。