all MiniLM L6 v2

概述

all-MiniLM-L6-v2 是由 sentence-transformers 团队开发的句子嵌入模型。它基于 MiniLM 架构（6 层 transformer），并使用对比学习目标在超过 10 亿句子对的大型数据集上微调。该模型将句子和段落映射到 384 维稠密向量空间，从而实现高效的语义相似度比较、聚类和信息检索。

关键规格：

• 模型类型：句子 Transformer
• 基础架构：MiniLM（6 层，384 隐藏维度）
• 参数：2270 万
• 最大序列长度：256 个 token
• 输出维度：384
• 训练数据：10 亿+ 句子对（包括 SNLI、MultiNLI、S2ORC 等）
• 归一化：输出向量归一化为单位长度

能力

• 语义相似度：计算句子嵌入之间的余弦相似度以衡量语义相关性。
• 语义搜索：编码查询和文档，使用最近邻搜索进行高效检索。
• 聚类：基于嵌入距离对相似句子或段落进行分组。
• 释义检测：识别语义等价的句子。
• 跨语言迁移：虽然主要针对英语，但也可在一定程度上用于多语言数据。
• 速度：通过 ONNX、OpenVINO 和 Rust 绑定优化推理。

用例

• 信息检索：为文档、常见问题解答或知识库构建语义搜索引擎。
• 聊天机器人：基于用户查询嵌入检索相关回复。
• 文本聚类：组织客户反馈、支持工单或新闻文章。
• 重复检测：识别数据集中的重复问题或内容。
• 推荐系统：基于文本描述查找相似项目。
• 学术研究：句子嵌入评估的基线。

许可证与部署

• 许可证：Apache 2.0
• 部署选项：
  • Hugging Face Transformers / Sentence-Transformers 库
  • ONNX 运行时优化推理
  • OpenVINO 用于 Intel 硬件加速
  • Rust（通过 ort 或 sentence-transformers Rust crate）
  • TensorFlow.js 用于浏览器部署
  • SageMaker、Vertex AI 或自定义 Docker 容器

替代方案

• all-MiniLM-L12-v2：更大变体（12 层，384 维），准确率稍高但推理速度较慢。
• all-mpnet-base-v2：更高准确率（768 维），但模型更大（1.1 亿参数）。
• all-distilroberta-v1：基于 DistilRoBERTa，768 维，准确率良好。
• multi-qa-MiniLM-L6-cos-v1：针对非对称语义搜索（查询与文档）优化。
• BAAI/bge-small-en：更小模型（384 维），性能有竞争力。
• intfloat/e5-small-v2：另一种高效嵌入模型。

常见问题

问：最大序列长度是多少？ 答：256 个 token。较长的文本会被截断。

问：如何计算相似度？ 答：对归一化嵌入使用余弦相似度。

问：我可以将其用于英语以外的语言吗？ 答：它主要针对英语，但可能在一定程度上适用于其他语言。考虑多语言模型如 paraphrase-multilingual-MiniLM-L12-v2。

问：官方仓库在哪里？ 答：https://huggingface.co/sentence-transformers/all-MiniLM-L6-v2

问：如何在自定义数据上微调？ 答：使用 sentence-transformers 库，配合对比损失或三元组损失。

问：嵌入大小是多少？ 答：384 维。

问：它适合实时应用吗？ 答：是的，它是速度最快且准确率良好的句子嵌入模型之一。