MagicAnimate：基于扩散模型的时间一致人类图像动画

MagicAnimate是由新加坡国立大学Show Lab和字节跳动的研究人员开发的尖端人类图像动画框架。这个团队由徐仲聪、张建峰、刘俊豪、严翰舒、刘家炜、张辰旭、冯嘉时和寿铮铮组成，他们引入了一种基于扩散的方法，旨在增强时间一致性，忠实保留参考图像，并提高动画的整体逼真度。

概述

MagicAnimate采用扩散模型来为人类图像添加动画，确保其与运动序列保持一致，重点关注时间上的一致性。该框架旨在产生逼真且具有视觉吸引力的动画，成为各种应用的有价值工具。

方法论

该方法涉及使用视频扩散模型和外观编码器来处理时间建模和身份保留，分别。管道的左侧面板展示了MagicAnimate在给定参考图像和目标DensePose运动序列时如何利用这些组件。为了支持长视频动画，团队设计了一种视频融合策略，在推理过程中产生平滑的过渡，如右侧面板所示。

结果与应用

MagicAnimate通过定性比较展示了其有效性，包括跨身份动画和在未知领域（如油画和电影角色）中的动画。该框架还与T2I扩散模型集成，展示了其在根据多样化文本提示生成的DALLE3参考图像上的多功能性。

视频结果

• 人类图像动画：在运动序列中实现时间上的一致性。
• 跨身份动画：与来自不同视频的运动序列的参考图像进行动画制作的现有技术基线进行比较。
• 未知领域动画：对来自未知领域（如油画和电影角色）的图像进行动画制作。

应用

• 与T2I扩散模型结合：根据文本提示对由DALLE3生成的参考图像进行动画制作。
• 多人动画：根据给定的运动序列对多个人进行动画制作。[![]
  
  

BibTeX 引用

@inproceedings{xu2023magicanimate,
    author = {Xu, Zhongcong and Zhang, Jianfeng and Liew, Jun Hao and Yan, Hanshu and Liu, Jia-Wei and Zhang, Chenxu and Feng, Jiashi and Shou, Mike Zheng},
    title = {MagicAnimate: Temporally Consistent Human Image Animation using Diffusion Model},
    booktitle = {arxiv},
    year = {2023}
}

MagicAnimate在人类图像动画领域作出了重要贡献，展示了在时间一致性、参考图像保真度和动画质量方面的进展。