llava

概述

LLaVA（大型语言与视觉助手）是由微软、威斯康星大学麦迪逊分校和哥伦比亚大学的研究人员开发的开源多模态模型。它集成了视觉编码器（CLIP）和大型语言模型（Vicuna），以实现视觉理解和推理。该模型在包含158K独特图像-文本对的数据集上进行了微调，使其能够遵循指令并回答关于图像的问题。LLaVA在多个视觉推理基准测试（包括ScienceQA和MMBench）上达到了最先进的性能。

能力

• 视觉问答（VQA）： 对图像相关问题进行详细推理并回答。
• 图像描述： 为图像生成描述性标题。
• 视觉对话： 围绕图像进行多轮对话。
• OCR与文档理解： 从图像中读取文本并回答相关问题。
• 多模态推理： 结合视觉和文本信息来完成任务。
• 本地部署： 通过Ollama完全在本地硬件上运行，确保隐私和离线访问。

用例

• 无障碍： 为视障用户描述图像。
• 内容审核： 分析图像中的不当内容。
• 教育： 回答关于图表、示意图或历史图像的问题。
• 电子商务： 根据照片生成产品描述。
• 机器人： 为自主系统提供视觉理解。
• 创意辅助： 基于图像生成创意或故事。

许可与部署

LLaVA采用Apache 2.0许可证发布，允许自由使用、修改和分发。可以通过Ollama使用命令ollama run llava进行本地部署。该模型提供多种尺寸（例如7B、13B），以适应不同的硬件能力。Ollama会自动处理模型下载和设置。

替代方案

• GPT-4V： OpenAI的专有多模态模型，具有类似功能，但需要API访问和互联网。
• CLIP： OpenAI的视觉语言模型，用于零样本分类和相似度计算，但不适用于对话任务。
• BLIP-2： Salesforce的多模态模型，用于VQA和描述，可通过Hugging Face获取。
• Fuyu-8B： Adept的多模态模型，用于文档理解和VQA。
• CogVLM： 开源多模态模型，具有强大的视觉定位能力。

常见问题

问：运行LLaVA需要什么硬件？ 答：LLaVA 7B至少需要8GB显存，而13B版本需要16GB。仅使用CPU推理是可能的，但速度较慢。

问：我可以将LLaVA用于商业用途吗？ 答：可以，Apache 2.0许可证允许商业使用。

问：如何在Ollama中更新LLaVA？ 答：运行ollama pull llava以获取最新版本。

问：LLaVA支持视频输入吗？ 答：不支持，LLaVA仅设计用于静态图像。

问：我可以在自己的数据上微调LLaVA吗？ 答：可以，该模型是开源的，可以使用GitHub上提供的原始训练代码进行微调。