Nomic Embed Text v1.5

概述

Nomic Embed Text v1.5 是 Nomic AI 开发的文本嵌入模型，在 Hugging Face 上以 nomic-ai/nomic-embed-text-v1.5 提供。它专为句子相似度和特征提取任务设计，采用 NomicBERT 架构。该模型下载量超过 1860 万次，表明其在 NLP 社区中的受欢迎程度。它支持多种格式，包括 ONNX、SafeTensors 和 Transformers.js，使其能够灵活部署在不同环境中。该模型还与 sentence-transformers 库兼容，并在 MTEB（大规模文本嵌入基准）上进行了评估，以确保高性能。

能力

• 句子相似度：计算文本对之间的语义相似度，适用于聚类、语义搜索和重复检测。
• 特征提取：生成文本的密集向量表示，用于下游任务如分类、检索和聚类。
• 多格式支持：提供 ONNX、SafeTensors 和 Transformers.js 格式，支持在 CPU、GPU 和浏览器环境中部署。
• 自定义代码：包含增强功能的自定义代码，如 Matryoshka 表示学习（MRL）以实现灵活的嵌入维度。
• MTEB 性能：针对 MTEB 基准优化，在分类、聚类和检索等任务上取得有竞争力的结果。
• 集成：与 Hugging Face Transformers、sentence-transformers 和 ONNX Runtime 无缝协作。

使用场景

• 语义搜索：嵌入查询和文档，根据含义而非关键词找到相关匹配。
• 聚类：使用嵌入向量对相似文本（如客户评论、支持工单）进行分组。
• 文本分类：将嵌入作为分类器的特征，用于情感分析、主题标注等。
• 检索增强生成（RAG）：从知识库中检索相关上下文以增强 LLM 响应。
• 重复检测：识别大型数据集中的近似重复内容。
• 跨语言应用：虽然主要针对英语，但可以微调用于多语言任务。

许可与部署

• 许可：Apache 2.0，允许商业使用、修改和分发。
• 部署选项：
  • Hugging Face Transformers：通过 AutoModel 或 AutoTokenizer 加载。
  • sentence-transformers：使用 SentenceTransformer('nomic-ai/nomic-embed-text-v1.5')。
  • ONNX Runtime：使用 ONNX 格式在 CPU/GPU 上优化推理。
  • Transformers.js：在浏览器或 Node.js 环境中运行。
  • 自定义代码：模型包含用于高级功能（如 MRL）的自定义建模代码。

替代方案

• BAAI/bge-base-en-v1.5：另一个流行的嵌入模型，性能相似，同样采用 Apache 2.0 许可。
• sentence-transformers/all-MiniLM-L6-v2：轻量级模型，适用于资源受限环境。
• intfloat/e5-base-v2：在 MTEB 上表现强劲，但需要前缀。
• OpenAI text-embedding-ada-002：专有模型，高质量嵌入但有 API 成本。
• Cohere embed-english-v3.0：商业模型，支持多语言。

常见问题

问：嵌入维度是多少？ 答：默认维度为 768，但通过 Matryoshka 表示学习（MRL），可以通过指定 matryoshka_dim 使用 64、128、256 或 512 等维度。

问：如何与 sentence-transformers 一起使用？ 答：安装 sentence-transformers 并运行 model = SentenceTransformer('nomic-ai/nomic-embed-text-v1.5')。

问：它支持多语言吗？ 答：主要基于英语文本训练，但可以针对其他语言进行微调。

问：最大序列长度是多少？ 答：模型支持最多 2048 个 token。

问：如何使用 ONNX？ 答：从 Hugging Face 下载 ONNX 模型，并使用 ONNX Runtime 进行推理。

问：可以在浏览器中使用吗？ 答：可以，通过 Transformers.js。