当前位置: 首页 > 资讯 > 科技 > NVLM 1.0 by NVIDIA:多模态AI革命的先锋,性能均衡驾驭文本与图像处理
  • 0
  • 0
  • 分享

NVLM 1.0 by NVIDIA:多模态AI革命的先锋,性能均衡驾驭文本与图像处理

英伟达(NVIDIA) 2024-09-23 13:28:55 爱吃爆米花

近日消息,一组引人注目的报道揭示了英伟达(Nvidia)在学术界的前沿探索,其最新论文阐述了开创性的多模态大语言模型体系——NVLM 1.0,这一成果标志着AI技术向更深层次的跨模态理解迈出了重要一步。

多模态大型语言模型(MLLM)

多模态大型语言模型(MLLM)所创建的 AI 系统,能够无缝解读文本和视觉数据等,弥合自然语言理解和视觉理解之间的差距,让机器能够连贯地处理从文本文档到图像等各种形式的输入。

多模态大型语言模型在图像识别、自然语言处理和计算机视觉等领域拥有广阔应用前景,改进人工智能整合和处理不同数据源的方式,帮助 AI 朝着更复杂的应用方向发展。

英伟达 NVLM 1.0

NVLM 1.0 系列包括 NVLM-D、NVLM-X 和 NVLM-H 三种主要架构。每个架构都结合先进的多模态推理功能与高效的文本处理功能,从而解决了以往方法的不足之处。

NVLM 1.0 的一个显著特点是在训练过程中加入了高质量纯文本监督微调(SFT)数据,这使得这些模型在视觉语言任务中表现出色的同时,还能保持甚至提高纯文本性能。

研究团队强调,他们的方法旨在超越 GPT-4V 等现有专有模型和 InternVL 等开放式替代模型。

NVLM 1.0 模型采用混合架构来平衡文本和图像处理:

NVLM-D:纯解码器模型,以统一的方式处理两种模式,因此特别擅长多模式推理任务。

NVLM-X:采用交叉注意机制,提高了处理高分辨率图像时的计算效率

NVLM-H:混合了上述两种架构的优势,在保持文本推理所需的效率的同时,实现了更详细的图像理解。

这些模型结合了高分辨率照片的动态平铺技术,在不牺牲推理能力的情况下显著提高了 OCR 相关任务的性能。

性能

在性能方面,NVLM 1.0 模型在多个基准测试中取得了令人印象深刻的成绩。

归功于在训练过程中集成了高质量的文本数据集,在 MATH 和 GSM8K 等纯文本任务中,NVLM-D1.0 72B 模型比其纯文本骨干提高了 4.3 分。

在视觉问题解答和推理任务中,这些模型还表现出了强大的视觉语言性能,在 VQAv2 数据集上的准确率为 93.6%,在 AI2D 上的准确率为 87.4%。

在 OCR 相关任务中,NVLM 模型的表现明显优于现有系统,在 DocVQA 和 ChartQA 数据集上的准确率分别为 87.4% 和 81.7%,突出显示了其处理复杂视觉信息的能力。

NVLM-X 和 NVLM-H 模型也取得了这些成绩,它们在处理高分辨率图像和多模态数据方面表现出色。

研究的主要发现之一是,NVLM 模型不仅在视觉语言任务中表现出色,而且还保持或提高了纯文本性能,这是其他多模态模型难以达到的。

例如,在基于文本的推理任务(如 MMLU)中,NVLM 模型保持了较高的准确率,在某些情况下甚至超过了纯文本模型。

想象一下在自动驾驶汽车中的应用场景。NVLM 1.0 可以通过摄像头实时获取道路信息,并与车辆导航系统进行语言沟通。

它不仅能识别交通标志,还能理解复杂路况下的人类指令,例如“如果前方有施工,请寻找替代路线”。这得益于其强大的视觉-语言处理能力以及出色的文本推理能力,使得自动驾驶更加智能、安全、可靠。

小结

英伟达开发的 NVLM 1.0 模型代表了多模态大型语言模型的重大突破,该模型通过在多模态训练中集成高质量文本数据集,并采用动态平铺和高分辨率图像平铺标记等创新架构设计,解决了在不牺牲性能的前提下平衡文本和图像处理的关键难题。

NVLM 系列模型不仅在视觉语言任务方面超越了领先的专有系统,而且还保持了卓越的纯文本推理能力,让多模态人工智能系统的发展又向前迈进一大步。

来源:it之家
免责声明:本内容来自互联网,不代表本网站的观点和立场,如有侵犯你的权益请来信告知;如果你觉得好,欢迎分享给你的朋友,本文网址 https://wangzhidaquan.com/zixun/90234.html
文章标签
评论

文明上网,理性发言,共同做网络文明传播者

验证码
提交
热门游戏
换一换
热门软件
换一换