纽约大学谢赛宁和 Yann LeCun 团队的 Cambrian-1 多模态大模型

‍

近日，纽约大学谢赛宁和Yann LeCun团队宣布开发出一款名为Cambrian-1的多模态大模型，这一完全开放的项目专注于视觉表征学习，并探索了多模态大型语言模型（MLLM）的视觉中心能力。该模型的发布标志着多模态学习领域的重要进展，为AI在视觉理解方面的应用开辟了新路径。

据悉，Cambrian-1模型的主要特点是其卓越的视觉表征学习能力。通过探索多种不同的视觉编码器及其组合，该模型能够在处理需要理解和解析视觉信息的任务时表现出显著优势。研究结果显示，CLIP模型在视觉中心的基准测试中名列前茅，自监督学习（SSL）也展现出了值得关注的潜力。

为了促进研究和应用的发展，谢赛宁和Yann LeCun团队全面开源了Cambrian-1的模型权重、代码、数据集以及详细的指令微调和评估方法。这将使其他研究人员和开发者能够更容易地访问和使用这个模型，进一步推动多模态学习技术的进步。

此外，团队还引入了一种新型连接器设计——空间视觉聚合器（SVA）。该设计基于空间归纳偏差的显式编码和多阶段视觉特征聚合两大原则，增强了模型对视觉内容的深入分析和记忆能力。

谢赛宁教授表示：“我们希望通过开源项目和提供详细的评估方法，鼓励更多的研究者和开发者参与到多模态学习的研究中来。这将有助于推进该领域的整体技术进步，并可能导致更多实用的应用程序和产品出现。”

业内专家认为，Cambrian-1的推出意味着AI在获取强大的视觉表征学习能力方面迈出了重要一步。这种能力不仅有助于AI更好地理解世界，还可能开启新的应用场景和技术突破。随着这项技术的不断发展和完善，我们可以期待它将在人工智能领域引发一系列创新应用。

‍