网站设计论文引言,电子商务是什么职业,有哪些专业做饰品的网站app,软件培训机构排行榜当前#xff0c;多模态大型模型#xff08;Multi-modal Large Language Model, MLLM#xff09;在视觉问答#xff08;VQA#xff09;领域展现了卓越的能力。然而#xff0c;真正的挑战在于知识密集型 VQA 任务#xff0c;这要求不仅要识别视觉元素#xff0c;还需要结…当前多模态大型模型Multi-modal Large Language Model, MLLM在视觉问答VQA领域展现了卓越的能力。然而真正的挑战在于知识密集型 VQA 任务这要求不仅要识别视觉元素还需要结合知识库来深入理解视觉信息。
本文对 MLLM尤其是近期提出的 GPT-4V从理解、推理和解释等方面进行了综合评估。结果表明当前开源 MLLM 的视觉理解能力在很大程度上落后于 GPT-4V尤其是上下文学习能力需要进一步提升。并且在广泛的常识类别中GPT-4V 的问答水平也是明显领先的。 ▲图1 知识密集型视觉问答VQA任务的评估框架
如图 1 所示该框架从三个维度进行了深入评估 常识知识评估模型如何理解视觉线索并与常识知识联系; 精细化的世界知识测试模型从图像中推理出特定专业领域知识的能力 具有决策基础的全面知识检查模型为其推理提供逻辑解释的能力从可解释性的角度进行更深入分析。
有趣的是作者发现 在使用复合图像作为小样本时GPT-4V 表现出增强的推理和解释能力; 在处理世界知识时GPT-4V 产生严重幻觉突显了该研究方向未来发展的需求。
论文题目:A Comprehensive Evaluation of GPT-4V on Knowledge-Intensive Visual Question Answering
论文链接:https://arxiv.org/abs/2311.07536 当人类与多模态人工智能系统交互时通常期望获得他们不知道的有价值信息并提出寻求知识的问题这涉及到知识密集型挑战。这带来了一个重要的问题基于 MLLM 的 VQA 系统在面对知识密集型寻求信息的问题时会如何表现
因此有必要明确 MLLM 在知识密集型 VQA 场景中的性能因为这不仅将评估它们基于知识库的视觉推理能力还将为增强它们在视觉问答方面的能力和提高可信度进行铺垫。
如图 2 所示作者在这项研究里集中评估了先进的多模态大型模型特别关注了 GPT-4V(ision) 在知识密集型 VQA 任务背景下的能力。 ▲图2 GPT-4V 在三个维度上的性能
本文的研究结果总结如下 MLLM 在知识领域的推理能力各异。分析突显了 MLLM 在涵盖常识和精细化世界知识的各种知识类别上的理解和推理能力的显著差异。 GPT-4V 在具有精细化世界知识的 VQA 方面具有挑战性。 GPT-4V 能够处理复合图像。将包含上下文引用以进行上下文学习的复合图像提供给 GPT-4V使 GPT-4V 能够实现更高的答案准确性。尤其是在复合图像中引入上下文引用示例提高了生成的基础质量改善了 GPT-4V 的决策解释。
实验设置
数据集
作者选择了三个基于知识的 VQA 数据集OK-VQA常识知识INFOSEEK精细化世界知识和 A-OKVQA决策基础。这些数据集涵盖了不同形式的知识并相应地采用不同的评估维度。表 1 展示了这些数据集的统计信息包括样本总数、类别分布等。 ▲表1 基于知识的 VQA 数据集统计信息
图 3 有详细的知识范围统计数据覆盖了植物、动物、食物、地点等十多个知识类别。 ▲图3 根据常识和世界知识类型的知识类别问题的细分
评估方法
鉴于大多数答案是含有少量单词的短文本而基础是句子级别的采用以下评估方法 精确匹配 最直接的准确性评估方法通过将生成的答案与一组预定义的正确答案进行比较检查生成的答案是否与参考集中的任何答案完全匹配。 自动基础评估 不仅考虑答案的正确性还考虑模型回复解释答案背后的推理或逻辑的程度。使用生成性指标来评估语言质量和相关性。 人工评估 人类判断在理解上下文、细微差别和自然语言微妙之处方面很重要。人类评估员将从一致性、充分性、事实正确性方面评估生成的基础句子。
常识知识问答评估
在处理需要常识推理的任务时计算机通常缺乏人类的先天理解例如理解在寒冷天气中穿外套的必要性。因此AI 系统在这些任务上往往表现不佳。AI 研究的关键目标之一是设计方法使计算机能够具备常识知识以实现与人类的自然交互。
在常识知识问答任务中回复通常是一个词或短语。为了激发模型的常识推理能力作者采用了不同的提示策略如图 4 所示。使用视觉输入方法通过输入包含四个上下文参考示例的复合图像提示模型利用其上下文学习能力生成回复。 ▲图4 MLLM 的提示技术
表 2 展示了在具有常识知识 VQA 上的基准结果。其中Llava-v1.5-13b 是最熟练的开源 MLLM尤其在常识视觉问题回答方面表现卓越但在许多领域仍远远低于 GPT-4V。 ▲表2 通用知识 VQA 上的基准结果
此外还有以下关键发现 对 MLLM 进行常识 VQA 数据微调显著提高了性能。 使用 4-shot 上下文学习方法对一些 MLLM 的常识推理性能产生影响尤其是对开源模型的影响较为敏感而 GPT-4V 则相对不太敏感。 MLLM 在应用内部知识时存在长尾效应。
总体而言尽管开源 MLLM 表现不错但在广泛的常识类别中GPT-4V 仍然明显领先。
如图 5 所示GPT-4V 倾向于生成更详细和准确的答案但存在一些视觉错觉问题例如误识别图像中的关键元素和难以区分相似物种。此外特别是在提供不确定性回复时GPT-4V 有时能生成详细的推理过程。 ▲图5 GPT-4V 和 Llava-v1.5-13b 在常识知识上生成的案例的对比
细粒度世界知识评估
相对于常识知识世界知识更为具体和详细使得 AI 能够回答关于事实和具体问题的提问对于 MLLM 来说处理信息检索问题至关重要。这种 VQA 需要 MLLM 识别视觉内容并将其与知识库联系起来因此更关注 GPT-4V 在处理各种类别中的细粒度知识时的能力。
为了激发模型细粒度知识处理能力作者采用了与图 4 中示例相同的提示方法并选择了如图 6 所示的上下文参考示例。 ▲图6 MLLM 在细粒度世界知识评估中的上下文参考示例
实验结果见表 3GPT-4V 的平均准确率不到 30%。相比之下开源 MLLM 的准确率更低。因此在处理细粒度世界知识方面GPT-4V 明显优于开源 MLLM。所有评估的 MLLM无论其复杂性如何在准确回答需要详细世界知识的视觉问题方面效果都有欠缺。 ▲表3 在细粒度世界知识上的 VQA 基准结果
在不同知识类别之间存在显著的性能差距导致了严重的长尾现象。目前的 MLLM包括 GPT-4V 在内回答复杂信息检索问题的能力需要进一步提高。
案例研究
图 7-11 展示了 GPT-4V 在 11 个细粒度世界知识问答中遇到的四个主要问题 上下文不足而拒绝回答由于上下文不足GPT-4V 经常因为图像未提供与问题相关的足够信息而选择不回答寻求信息的问题参见图 8-10。GPT-4V 过于谨慎通常在图像缺乏强烈相关视觉线索时选择保持沉默。 识别相似对象的挑战GPT-4V 在具有广泛子类别范围的类别中难以区分相似物品导致在这些领域内回答知识密集型问题的准确性明显降低。这一限制可能与视觉幻觉和LLM的幻觉有关。 视觉和知识维度整合不足数据集主要专注于单跳视觉知识问题和答案但观察到的事实不准确性表明视觉识别与相关知识的整合较弱。 过度依赖视觉线索忽视文本提问GPT-4V 有时在回答中过度依赖视觉元素而忽视问题的文本内容。
图 7 的上半部分评估了建筑的建筑风格和目的澄清了其实际的教区和举办的重要事件。下半部分评估了动物的栖息地、保护状况和入侵情况。 ▲图7 GPT-4V 在识别相似对象方面存在困难视觉幻觉 ▲图8 过度依赖视觉线索来回答知识密集型的视觉问题
上图展示了一个被错误识别的植物物种及其不存在的栖息地以及桥梁先前的渡河和其工程归属的历史细节。当图像无法提供足够信息时GPT-4V 拒绝回答问题过度依赖视觉线索来回答知识密集型的视觉问题。 ▲图9 细粒度问题回答
图 10 呈现了当询问 GPT-4 识别并提供有关图像中各种对象和位置的详细信息时对其回复进行比较分析。该图展示了模型在没有额外上下文的情况下存在解释视觉信息的能力和局限性。 ▲图10 在没有额外上下文的情况下解释视觉信息的能力和局限性
图 11 包括对几何结构、望远镜的发明者、飞机的环境影响以及古罗马市场的历史背景以及传统划船比赛的起源进行评估。这些提问展示了模型试图从图像和相关问题中推断信息的尝试展示了 GPT-4V 理解和历史归因的挑战和复杂性。 ▲图11 GPT-4V 理解和历史归因的挑战和复杂性
尽管所有 MLLM 在需要实体特定知识的问题中都存在困难但在这些场景中GPT-4V 相对于开源 MLLM 展现了显著优势。然而GPT-4V 往往过于谨慎经常选择不回答与缺乏强相关视觉线索的图像提问过度依赖视觉理解内容是它们此处表现不佳的关键限制。为了提高 MLLM 在精细化视觉对象知识任务中的能力需要进一步研究提高详细视觉数据与上下文知识的整合和相关性。
全面知识与决策论据
通常MLLM 充分利用广泛的知识库将预训练的 LLM 与视觉编码器的能力相结合。在这里作者提供了决策论据以评估 MLLM 在生成相关事实和支持推理的逻辑推理序列方面的熟练程度。
为了实现评估目标问题的设计旨在引导模型进行概念上的深入思考往往需要对呈现的图像之外的知识进行推断。
如图 12 所示当前的多模态提示方法主要注重为决策过程生成论据这标志着一个重要的变革。 ▲图12 为 A-OKVQA 生成理由的提示方法
从表 4 可以看出GPT-4V4-shot在性能方面优于其他模型。与 GPT-4V 不同其他 MLLM 缺乏在上下文示例中生成论据的能力除非它们提供了理由作为参考。 ▲表4 在 A-OKVQA 上的多个知识类型和决策论据生成的基准结果
相比之下GPT-4V 通常对人类的提问生成更详细的理由这可能解释了它在这些指标上的不同表现。
此外根据答案准确性、一致性、充分性和事实正确性这四个维度进行了人工评估统计结果如表 5 所示。显然GPT-4V 在答案准确性和决策论据质量方面表现出色明显优于其他开源 MLLM。尽管在自动评估指标中论据评分略低但从人工评估的角度来看GPT-4V 生成的理由质量仍然是最好的。 ▲表5 对生成答案和论据的子集进行人类评估
案例研究
在对这些样本提供的理由及准确性进行评估时根据图 13明显可以看出 GPT-4V 在性能上优于 Llava-v1.5。具体而言GPT-4V 的输出不仅更为详细而且提供了更加丰富的信息。相比之下Llava-v1.5 生成的理由通常较为模糊有时在解释视觉元素时可能产生幻觉。
对于不正确的回答进行进一步分析揭示了一个经常出现的问题GPT-4V 和 Llava-v1.5 偶尔由于对图像中的视觉内容的误解而提供不准确的答案。这一趋势在 Llava-v1.5 的错误样本中尤为明显表明其在处理视觉信息和理解指令方面有改进的空间。 ▲图13 采用 4-shot 提示方法由 GPT-4V 和 Llava-v1.5-13b 生成的样例
开源的 MLLM 在答案准确性方面表现得和 GPT-4V 相媲美这归因于它们在多模态指令调优阶段利用了相关数据集。然而这些模型在没有先前上下文引用情况下生成理由的能力较差表明它们在理解各种指令的能力方面存在一定局限性。
此外研究结果还揭示了当前开源 MLLM 的视觉理解能力在很大程度上落后于 GPT-4V它们的上下文学习能力需要进一步提升。然而GPT-4V 的 few-shot 设置方式提高了答案准确性和生成理由的质量。
总结
本研究主要关注对多模态大型模型性能的评估作者着重探讨了 GPT-4V 在各种知识密集型 VQA 任务中的表现。通过对性能评估的详细分析还揭示了 MLLM 面对的挑战和局限 长尾知识推理是多模态大型模型的挑战。MLLM 在各种知识领域中的推理能力存在显著差异尤其在涉及挑战性的人类实体知识的情境中。这一差异主要源于训练阶段的数据分布不平衡因此解决这一问题对提高 MLLM 整体推理能力至关重要。 GPT-4V 和其他 MLLM 在细粒度世界知识问答中存在性能限制。解决这些限制对于提高 MLLM 在需要深入理解视觉和文本信息的复杂问答任务中的性能至关重要。 整合全面知识以提升视觉理解。MLLM 在处理需要理解图像中对象的背景知识的问题时经常表现不佳。扩展视觉语言训练包括更广泛的有关视觉对象的知识有助于提高 MLLM 对视觉内容的理解和准确回答复杂问题的能力。 GPT-4V 有效利用基于复合图像的上下文学习。这种技术提高了 GPT-4V 生成准确答案和推理的效率尤其在处理包含丰富信息的复合图像时。然而该方法对模型固有的图像理解能力产生影响开源 MLLM 在这方面的表现相对较差。
本文强调了改善 MLLM 在处理不同领域和知识密集型任务中的能力的重要性。对长尾知识、视觉理解和语言推理的整合以及对模型在特定场景下的优势和不足进行深入了解这都是未来研究的关键方向。
在未来的工作中应当加强对 MLLM 的进一步改进特别是在细粒度世界知识问答方面。通过整合更全面的知识、改善视觉理解和语言推理的整合我们有望提高这些模型在处理复杂问题时的性能。期望未来在 MLLM 上有更多的研究和技术进展这将为推动人工智能领域的发展提供新的机遇和创新基础。
