DeepSeek-VL2：MoE架构加持，视觉模型迎来全能升级！

3,045 0 0

DeepSeek-VL2：视觉模型迈入 MoE 时代，能力全面升级！

为什么 DeepSeek-VL2 值得关注？

DeepSeek-VL2 历经九个月的等待终于发布，它不仅采用了 MoE（Mixture of Experts）架构，还结合了动态切图技术，使得视觉能力得到显著提升。从 视觉定位 到 梗图解析，从 OCR 到 故事生成，DeepSeek-VL2 展现了强大的多模态处理能力。更重要的是，它提供了 3B、16B 和 27B 三种规模的模型，并且已经正式开源，为研究者和开发者提供了便利。

DeepSeek-VL2 的核心亮点是什么？

1. 更强大的训练数据

训练数据量翻倍： 相较于上一代 DeepSeek-VL，DeepSeek-VL2 使用了双倍的优质训练数据，这意味着模型可以学习到更丰富的视觉和语言知识。
新增能力： 除了基础的视觉理解能力，DeepSeek-VL2 还引入了对 梗图理解、视觉定位、视觉故事生成等新能力的支持，让模型更贴近实际应用场景。

2. 先进的架构设计

动态切图策略： 在视觉处理方面，DeepSeek-VL2 使用切图策略来支持动态分辨率图像。这意味着模型可以灵活处理不同分辨率和长宽比的图像，最高支持 1152×1152 的分辨率和 1:9 或 9:1 的极端长宽比，大大扩展了应用范围。
MoE 架构： 在语言处理方面，模型采用了 MoE 架构，可以在保证性能的同时，降低训练成本，实现高效的模型训练。

3. 高效的训练流程

三阶段训练流程： DeepSeek-VL2 继承了 DeepSeek-VL 的三阶段训练流程，保证了训练的稳定性和效率。
负载均衡和流水并行： 为了应对图像切片数量不定的难题，DeepSeek-VL2 采用了负载均衡技术。此外，它还针对图像和文本数据使用了不同的流水并行策略，并为 MoE 语言模型引入了专家并行，实现了更高效的训练过程。

DeepSeek-VL2 的实际应用有哪些？

1. 动态分辨率支持

如何实现： DeepSeek-VL2 只需使用一个 SigLIP-SO400M 作为图像编码器，通过将图像分割成多个子图和一个全局缩略图，即可实现对动态分辨率图像的支持。
优势： 这种策略使得模型能够处理各种不同分辨率的图像，包括极端长宽比的图像，提高了模型的泛用性，比如它可以很好地处理手机拍摄的长图或者高分辨率的专业图像。

2. 图表理解

能力展示： DeepSeek-VL2 通过学习大量的科研文档数据，能够轻松理解各种科研图表，例如：折线图、柱状图、饼图等。
应用场景： 可以应用于学术研究、数据分析等领域，帮助研究者快速理解和分析图表中的信息。

3. Plot2Code（图像转代码）

功能： DeepSeek-VL2 同时具备 图像理解 和 代码生成 的功能，可以帮助用户逆向生成绘图代码。
使用示例： 你可以输入一张图表图片，然后用 “Draw a plot similar to the image in Python.” 这样的 Prompt，让 DeepSeek-VL2 生成相应的 Python 代码。这对于需要复现图表的科研人员或需要快速创建图表的开发者来说非常有用。

4. 梗图识别

能力提升： 得益于大规模的训练数据，DeepSeek-VL2 具备了 解析各种 Meme（梗图） 的能力，甚至可能比用户更懂梗。
趣味性： 它可以识别梗图中的幽默元素，并理解其背后的含义，给用户带来更生动的互动体验。

5. Visual Grounding （视觉定位）

Zero-shot grounding： DeepSeek-VL2 可以根据用户的自然语言描述，在图像中定位到符合描述的物体，例如：”找到图片中的DeepSeek Whale（DeepSeek 吉祥物虎鲸）”，模型会返回虎鲸的边界框。注意，模型只是输出边界框，不会直接在原图上绘制。
In-context grounding： 用户也可以给 DeepSeek-VL2 一个示例，让它学习定位的模式，并将其应用到新的图片上。例如：Prompt: <|grounding|>In the first image, an object within the black ellipse is highlighted. Please locate the object of the same category in the second image. (在第一张图中有一个物体被黑色椭圆包裹住。在第二张图中找到同类别的物体。)。
Grounded conversation： 结合视觉感知和语言推理能力，DeepSeek-VL2 具备了视觉语义对话能力。例如：当用户提问 “If you feel hot, what will you do?（如果感觉热，你会怎么做？）” 并给出包含风扇的图片时，DeepSeek-VL2 会回答：“To cool down, you can use <|ref|>the fan<|/ref|><|det|>[[166, 460, 338, 712]]<|/det|> which is sitting on the desk.（为了降温，你可以使用 [[166, 460, 338, 712]] 位置处的风扇，它放在桌子上）”，不仅指出了风扇，还给出了风扇的具体位置。

6. Visual Storytelling（视觉故事生成）

功能： 用户可以输入多张图像，让 DeepSeek-VL2 将它们串联起来，生成一个小故事。
创意应用： 这为内容创作和教育提供了新的可能性。

模型和论文的获取方式

模型下载： https://huggingface.co/deepseek-ai
GitHub主页： https://github.com/deepseek-ai/DeepSeek-VL2

DeepSeek-VL2 对视觉模型发展的意义

视觉是人类获取外界信息的主要来源，占据了约 80% 的信息量。然而，在大模型时代，视觉领域的发展却相对滞后于语言模型。DeepSeek-VL2 的出现，不仅提升了模型的视觉处理能力，更标志着视觉模型在多模态发展道路上迈出了重要一步，它让我们看到了视觉模型未来无限的潜力。

我认为：这DeepSeek-VL2 的发布，就像深夜里的一声闷雷，炸开了视觉模型领域的一潭死水。它不是故弄玄虚的学术花架子，而是真正把技术推向了实用，比如那“Plot2Code”的功能，直接戳中了科研人员的痛点，不再需要对着代码和图表发愁，直接让AI帮忙搞定。还有那梗图解析，嘿，这AI搞不好比你更懂网络！不再是冰冷的计算，多了几分烟火气。当然，我们也不能过分乐观，AGI的道路还很长，但至少DeepSeek-VL2点亮了一盏灯，让人看到了方向。#DeepSeek-VL2