bge small en v1.5

概述

BGE Small EN v1.5（BAAI/bge-small-en-v1.5）是北京人工智能研究院（BAAI）开发的一款轻量级句子嵌入模型。它是 BGE（BAAI 通用嵌入）系列的一部分，旨在为各种自然语言处理任务生成高质量的文本向量表示。该模型基于 BERT 架构，但参数数量减少至 3300 万，使其能够在资源受限的环境中高效部署。它支持 ONNX 和 SafeTensors 格式，确保与现代推理引擎的兼容性。在 Hugging Face 上的下载量超过 6100 万，是最受欢迎的英文嵌入模型之一。

能力

• 语义相似度：通过余弦相似度比较两个文本的嵌入向量来衡量它们的相似性。
• 特征提取：将文本转换为捕获语义含义的稠密向量表示。
• 句子嵌入：针对句子级任务优化，生成固定大小的向量（384 维）。
• 检索：支持稠密检索，用于搜索和问答系统。
• 分类：嵌入向量可作为下游分类器的输入特征。
• 聚类：基于嵌入距离对相似文本进行分组。
• 跨语言迁移：主要针对英文，但可针对其他语言进行微调。
• 高效推理：模型体积小，可在 CPU 和 GPU 上实现快速推理。

使用场景

• 语义搜索：为搜索引擎提供动力，根据含义而非关键词检索相关文档。
• 问答：为给定问题找到最相关的答案段落。
• 文本聚类：按主题对客户反馈、文章或支持工单进行分组。
• 推荐系统：基于文本描述推荐相似项目。
• 重复检测：识别大型数据集中的近似重复内容。
• 情感分析：使用嵌入向量作为情感分类的特征。
• 聊天机器人：增强意图识别和响应检索。
• RAG（检索增强生成）：通过检索相关文档为大型语言模型提供上下文。

许可与部署

• 许可：MIT 许可——完全开源，允许商业和私人使用。
• 部署：可通过 Hugging Face Transformers、Sentence-Transformers 库和 ONNX Runtime 使用。可部署在 CPU、GPU 或边缘设备上。支持量化以进一步减小体积。
• 模型格式：PyTorch、ONNX、SafeTensors。
• 硬件要求：最低——在 CPU 上高效运行，内存使用约 170MB。

替代方案

• all-MiniLM-L6-v2：类似大小（2200 万参数）和性能，广泛用于句子嵌入。
• BGE Base EN v1.5：更大版本（1.1 亿参数），在复杂任务上精度更高。
• GTE-small：阿里巴巴的另一款紧凑型模型，在检索基准测试中具有竞争力。
• E5-small：微软的小型嵌入模型，在零样本检索方面表现强劲。
• Sentence-BERT (SBERT)：句子嵌入的原始框架，提供多种模型大小。

常见问题

问：BGE Small EN v1.5 的嵌入维度是多少？ 答：该模型输出 384 维的嵌入向量。

问：我可以将此模型用于英文以外的语言吗？ 答：它主要基于英文数据训练。对于多语言任务，请考虑 BGE-M3 或其他多语言模型。

问：它与 BGE Base EN v1.5 相比如何？ 答：BGE Small 更快且内存占用更少，但 BGE Base（1.1 亿参数）在 MTEB 等基准测试中精度更高。

问：是否有针对检索微调的版本？ 答：是的，BAAI 提供了专门用于检索的变体：BGE-small-en-v1.5-retrieval。

问：最大序列长度是多少？ 答：默认最大长度为 512 个 token。

问：如何安装和使用？ 答：安装 sentence-transformers 并加载模型：from sentence_transformers import SentenceTransformer; model = SentenceTransformer('BAAI/bge-small-en-v1.5')。