nomic嵌入文本

概述

nomic-embed-text 是 Nomic AI 开发的最先进的文本嵌入模型，旨在将文本转换为密集向量表示。它可通过 Ollama 库使用，通过简单的 ollama run nomic-embed-text 命令实现本地部署。该模型针对语义理解进行了优化，可处理长达8192个令牌的序列，适合处理长文档。它在 MTEB（大规模文本嵌入基准）等基准测试中表现出色，同时足够轻量，适合本地使用。

能力

• 文本嵌入：为输入文本生成768维向量。
• 长上下文：支持最多8192个令牌，适合处理长文档。
• 语义搜索：基于含义检索相似文本。
• 聚类：通过嵌入距离对相似文本进行分组。
• 分类：作为下游分类器的特征提取器。
• 本地部署：通过 Ollama 完全在本地硬件上运行，确保数据隐私。
• 效率：针对 CPU 和 GPU 推理进行了优化，资源需求最低。

使用场景

• 语义搜索：构建理解用户意图的搜索引擎，超越关键词匹配。
• 文档检索：从大型语料库（如法律、医学）中检索相关文档。
• 推荐系统：基于语义相似性推荐内容。
• 文本聚类：将客户反馈、文章或研究论文组织成主题。
• 异常检测：通过嵌入距离识别异常文本。
• RAG 管道：用作检索增强生成的嵌入模型。
• 数据去重：在数据集中查找近似重复的文本。

许可与部署

• 许可：Apache 2.0（宽松开源）。
• 部署：通过 Ollama 提供（ollama run nomic-embed-text）。可使用 Ollama 的 API 或 Python 客户端集成到应用程序中。
• 硬件：在 CPU 或 GPU 上运行。CPU 推理建议最低4GB RAM。
• 模型大小：约137 MB（量化后）。

替代方案

• all-MiniLM-L6-v2：更小、更快的嵌入模型（384维，512令牌）。
• BAAI/bge-large-en-v1.5：更大的模型（1024维，512令牌），MTEB 得分高。
• OpenAI text-embedding-3-small：基于云，性能高但需要 API 访问。
• Cohere embed-english-v3.0：基于云，支持512令牌，多语言。
• intfloat/e5-mistral-7b-instruct：更大的指令调优模型（4096维）。

常见问题

问：如何使用 Ollama 运行 nomic-embed-text？ 答：运行 ollama run nomic-embed-text，并通过 Ollama API 或 Python 客户端发送请求。示例：curl http://localhost:11434/api/embeddings -d '{"model": "nomic-embed-text", "prompt": "您的文本"}'。

问：嵌入维度是多少？ 答：768维。

问：可以微调这个模型吗？ 答：该模型不设计为通过 Ollama 微调。如需微调，请使用 Hugging Face 上的原始模型。

问：它支持多语言吗？ 答：主要支持英语，但可能在一定程度上适用于其他语言。

问：与 OpenAI 嵌入相比如何？ 答：它在本地使用中提供有竞争力的性能并具有隐私优势，但 OpenAI 模型在某些基准测试上可能具有更高的准确性。