xlm roberta base

概述

XLM-RoBERTa (XLM-R) 是 Facebook AI 在论文《Unsupervised Cross-lingual Representation Learning at Scale》（Conneau 等人，2020）中引入的多语言 Transformer 模型。它是 RoBERTa 的跨语言扩展，在覆盖 100 种语言的 2.5 TB 过滤 CommonCrawl 数据上预训练。该模型使用掩码语言建模 (MLM) 目标，其中 15% 的 token 被掩码并预测。XLM-RoBERTa 在跨语言基准测试（如 XNLI（跨语言自然语言推理）和 MLQA（多语言问答））上取得了最先进的结果。基础版本有 2.78 亿参数，可通过 Hugging Face 以 PyTorch、TensorFlow、JAX 和 ONNX 格式获得。

能力

• 多语言理解：支持 100 种语言，包括高资源语言（如英语、西班牙语、中文）和低资源语言（如斯瓦希里语、乌尔都语）。
• 跨语言迁移：可以在一种语言上微调，并应用于其他语言而无需额外训练。
• 填充掩码任务：预测句子中被掩码的 token，实现语言建模和特征提取。
• 分词：使用 SentencePiece (Unigram) 分词器，词汇量为 25 万 token。
• 架构：12 层，768 隐藏大小，12 个注意力头（基础版本）。
• 输入长度：支持最多 512 个 token 的序列。

使用场景

• 跨语言文本分类：跨多种语言的情感分析、主题标记或意图检测。
• 命名实体识别 (NER)：在多语言文本中识别实体。
• 问答：在 SQuAD 或 MLQA 上微调，用于多语言问答。
• 机器翻译质量评估：无需平行数据即可评估翻译质量。
• 零样本跨语言迁移：在英语数据上训练，部署到其他语言。
• 特征提取：为下游任务生成多语言嵌入。

许可与部署

• 许可：MIT 许可证（根据 Hugging Face 模型卡片）。
• 部署：可通过 Hugging Face Transformers 库获得。可在 CPU/GPU 上使用 PyTorch、TensorFlow 或 JAX 部署。支持 ONNX 和 SafeTensors 格式以优化推理。
• 官方仓库：FacebookAI/xlm-roberta-base

替代方案

• mBERT：多语言 BERT，110 种语言，词汇量较小（11 万 token），但在低资源语言上性能较低。
• XLM：跨语言语言模型，具有因果和掩码 LM，但效率低于 XLM-R。
• DistilBERT Multilingual：mBERT 的蒸馏版本，速度更快但精度较低。
• LaBSE：语言无关的 BERT 句子嵌入，针对句子相似度优化。
• RemBERT：具有改进跨语言迁移的多语言模型。

常见问题

问：XLM-RoBERTa 支持哪些语言？ 答：它支持 100 种语言，包括阿拉伯语、中文、英语、法语、德语、印地语、印度尼西亚语、日语、韩语、葡萄牙语、俄语、西班牙语、斯瓦希里语、泰米尔语、泰语、土耳其语、乌尔都语、越南语等。

问：XLM-RoBERTa 与 mBERT 有何不同？ 答：XLM-R 使用更大的词汇量（25 万 vs. 11 万 token）、更多的训练数据（2.5TB vs. Wikipedia）和 RoBERTa 风格的训练目标（动态掩码，无 NSP）。它在跨语言基准测试上优于 mBERT。

问：我可以在单一语言上微调 XLM-RoBERTa 吗？ 答：可以，在单一语言上微调效果很好，由于跨语言对齐，模型仍然可以泛化到其他语言。

问：最大序列长度是多少？ 答：512 个 token。更长的序列必须截断或拆分。

问：XLM-RoBERTa 是否有不同大小？ 答：是的，有 XLM-R base（2.78 亿参数）和 XLM-R large（5.5 亿参数）版本。

问：如何使用 XLM-RoBERTa 进行填充掩码？ 答：使用 Hugging Face pipeline：from transformers import pipeline; unmasker = pipeline('fill-mask', model='FacebookAI/xlm-roberta-base')。