近日消息,通义千问宣布,其第二代视觉语言模型Qwen2-VL正式开源。为了方便开发者与企业用户快速应用,阿里云百炼平台同步上线了该模型的2B、7B两种规模及相应的量化版本API,用户可直接调用这些API,无缝融入自身业务,加速视觉理解与语言技术的融合创新。
Qwen2-VL模型在多个方面实现了性能的全面提升。它能够理解不同分辨率和不同长宽比的图片,在DocVQA、RealWorldQA、MTVQA等基准测试中创下全球领先的表现。此外,该模型还能理解20分钟以上的长视频,支持基于视频的问答、对话和内容创作等应用。Qwen2-VL还具备强大的视觉智能体能力,能够自主操作手机和机器人,进行复杂推理和决策。
该模型能够理解图像视频中的多语言文本,包括中文、英文、大多数欧洲语言、日语、韩语、阿拉伯语、越南语等。通义千问团队从六个方面评估了模型的能力,包括综合的大学题目、数学能力、文档表格多语言文字图像的理解、通用场景问答、视频理解、Agent能力。
Qwen2-VL-72B作为旗舰模型,在大部分指标上都达到了最优。Qwen2-VL-7B以其经济型参数规模实现了极具竞争力的性能表现,而Qwen2-VL-2B则支持移动端的丰富应用,具备完整的图像视频多语言理解能力。
在模型架构方面,Qwen2-VL延续了ViT加Qwen2的串联结构,三个尺寸的模型都采用了600M规模大小的ViT,支持图像和视频统一输入。为了提升模型对视觉信息的感知和视频理解能力,团队在架构上进行了升级,包括实现对原生动态分辨率的全面支持和使用多模态旋转位置嵌入(M-ROPE)方法。
阿里云百炼平台提供了Qwen2-VL-72B的API,用户可以直接调用。同时,Qwen2-VL-2B和Qwen2-VL-7B的开源代码已集成到Hugging Face Transformers、vLLM和其他第三方框架中,开发者可以通过这些平台下载和使用模型。
文明上网,理性发言,共同做网络文明传播者