资讯
近日消息，格灵深瞳公开发布了RWKV-CLIP模型源代码，这一创新模型融合Transformer与RNN技术的优势，打造出先进的视觉语言表示学习系统。
通过在大量网络抓取的图像-文本配对数据上进行图文联合预训练，RWKV-CLIP显著增强了在跨模态任务中的性能，为视觉理解和语言处理领域带来了新突破。
为了解决噪声数据问题并提高数据质量，研究团队引入了一个多样化的描述生成框架，利用大型语言模型（LLM）从基于网络的文本、合成字幕和检测标签中合成和细化内容。
RWKV-CLIP模型采用双塔架构，融合了Transformer的有效并行训练和RNN的高效推理。模型由多个空间混合和通道混合模块堆叠而成，通过这些模块实现对输入图像和文本的深入处理。在空间混合阶段，模型利用注意力机制进行全局的线性复杂度计算，强化特征在通道层级的交互。
通道混合阶段进一步细化特征表示。RWKV-CLIP模型在输入增强方面，通过随机选择原始文本、合成字幕或生成描述作为文本输入，增强了模型的鲁棒性。
实验结果表明，RWKV-CLIP在多个下游任务中取得了最先进的性能，包括线性探测、零样本分类和零样本图像文本检索。与基线模型相比，RWKV-CLIP实现了显著的性能提升。
RWKV-CLIP模型的跨模态分析显示，其学习到的表示在同一模态中表现出更清晰的可辨别性，并且在图像-文本模态空间中表现出更近的距离，表明跨模态对齐性能更出色。
文明上网，理性发言，共同做网络文明传播者