最近一款名为AnimateDiff的插件可谓刷爆了AI视频圈。我们只需要按时间点输入不同的提示词，又或者直接拖进一张特定的流程图，就可以非常轻松的生成一系列湿滑的动画了。效果甚至已经碾压了收费版的Runway。下面就从硬件要求、安装使用、速度对比等多个角度，给大家讲解一下这款开源免费的神级插件AnimateDiff。
AnimateDiff的底层技术框架是由上海人工智能实验室、香港中文大学和斯坦福大学联合研发的。它们能够很好的结合Stable Diffusion的各种模型，还能配合Controlnet和Upscale放大功能，来生成出可控的高清丝滑视频。Front Travel是AnimateDiff新更新的一个核心功能，通过填写不同时间段的提示词，我们就可以轻松的制作各种人物变装、场景动作等丝滑变换的过渡效果。
输入提示词
- 在输入提示词的时候，需要按照头部提示词加时间提示词加尾部提示词的方式来撰写。
- 例如，头部提示词输入一个女孩，巫师戴着耳环；时间提示词输入0冒号火系魔法，火焰背景；数字代表某一灯时间后生成的画面内容。于是乎就可以继续扩充，第8帧的时候施展冰系魔法，16帧的时候切换成雷系魔法等等。尾部提示词这个写不写都可以，这里就输入飘动的头发。于是就得到了这样的人物角色，不断切换动作的视频效果了。这就是Prompt-Travel提示词旅程功能。
不同版本的AnimateDiff
AnimateDiff主要有三个不同的版本：Stable Diffusion Web UI版AnimateDiff、ConfyUI版AnimateDiff，还有一个纯代码版AnimateDiff。每个版本都有自己独特的优势。
Stable Diffusion Web UI版AnimateDiff
它是直接挂载在Stable Diffusion上面的，优点就是安装简单，使用最为方便。最近Web UI版AnimateDiff更新非常的积极，对Controlnet的支持、运动镜头的Lora、最大帧数的开放，包括上传视频功能一个都不少。但Web UI版有个致命的硬伤，就是非常吃显存，显存消耗是三个版本里面最多的，渲染时间也是最慢的一个。
ConfyUI版AnimateDiff
Conf UI版AnimateDiff最近非常的火热，直接带火了Conf UI。好多人为了使用AnimateDiff专门下载和安装Conf UI。它的优点是节点式操作，能够一键导入工作流，比Web UI版AnimateDiff更节省显存。缺点就是需要单独安装和部署Conf UI，期间还需要进行一些缺失节点的安装。安装过程容易出现一些问题和报错。另外，Conf UI和我们常用的Stable Division Web UI不同，节点式操作需要大家额外花一些时间去重新学习和适应。
纯代码版AnimateDiff
纯代码版AnimateDiff大家不要被代码这个词吓到，只要你熟悉Stable Division的相关操作，那么代码版AnimateDiff绝对难不到你。我们要做的只是用计式本的方式修改少量的文本数据，就可以让它自动运行了。它的优点是渲染速度最快，具备完整的AnimateDiff功能，同样能够一键运行工作流。缺点就是需要单独安装部署AnimateDiff Quantrobo，并且纯代码的操作方式不够直观。
硬件要求
在过往，AnimateDiff对硬件要求还是挺高的，至少得12GB以上显存的显卡才能使用。但随着插件版本的升级，再加上一些优化的设计操作，现在8GB显存的显卡也可以正常运行了。大大降低了用户的使用门槛。另外，苹果M1系列的电脑同样也可以正常使用AnimateDiff。由于M系列处理器是共享显存的机制，不会有爆显存的烦恼。但速度嘛，我尝试渲染一段512×768放大两倍分辨率，200帧时航的动画，足足花了我一整天，约20多个小时的时间。所以使用AnimateDiff生成视频的话，还是比较推荐配备独立显卡的Windows电脑。
Stable Diffusion Web UI版AnimateDiff的安装和使用
- 安装，我们只需要在扩展页面点击从网址安装，把这个地址链接复制到这里，直接点击安装即可。看到安装完毕的提示后，重启一下UI界面，我们就可以在文生图和图生图界面看到AnimateDiff的选项了。前面已经说过，Web UI版AnimateDiff是最占显卡显存的。
-
如果你的显卡只有8GB显存，直接使用AnimateDiff生成视频的话，会出现显存不足的提示。我们需要在秋叶启动器高级选项里面，把显存优化设置成中等显存4GB以上，并进入设置界面，在优化设置里面，把批量应用正向反向调整这个选项取消掉，这能够让你生成视频的时候，节省大约11%左右的显存消耗。
保存设置并重启一下UI界面，这时候再次运行就没有问题了。
- 使用，AnimateDiff有自己专用的动态模型，勾选启用设置好视频的总帧数和帧数率。这里的content-based size是一次生成16张图片，默认这个数值出来的动态效果是最好的，但如果你出现显存不足的提示，那么就要把这个数字改小了。另外要注意的就是总帧数一定要大于这个content-based size，不然会报错。下面可以设置输出视频的格式，我们主要调整这几个参数就可以了，其他参数我已经把他们的功能备做好，
- 这里我们通过prompt-travel格式撰写一段题字词，一个女孩明真的时候微笑长头发，场景是在学校25帧的时候闭上眼睛，场景切换到卧室总帧数54帧，帧数率设置成16，其他保持默认。
- 于是我们就可以生成一段这样的转场视频了。帧数率设置的越高，在这里预览看到的播放速度就会越快，但这个并不是实际最终的播放速度。我们手动把输出的格式导入到后期剪辑软件里面调整一下，丝滑的视频就制作出来了。所以只要你的显存足够，Web UI版AnimateDiff同样是足够给力的。
Stable Diffusion Web UI版AnimateDiff的最大出头分辨率
不管是Windows还是MAC苹果电脑都可以安装ConfyUI版AnimateDiff。完整的安装流程和安装包都已经给大家准备好了。安装方法都是差不多的，首先得安装ConfyUI，然后在ConfyUI上安装AnimateDiff。我们先下载和解压给大家提供的Windows Max通用版ConfyUI，然后按照步骤操作，主要是通过代码的方式安装这三个插件，
– 1、节点管理器，相当于是在线插件库，可以让你把缺失的节点自动加载回来；
– 2、汉化插件，安装好后点击右下方的这个小齿轮按钮，然后就可以把英文界面改成中文了，这时候不单单是菜单，节点上的参数也同时汉化好了；
– 3、confyUI版的AnimateDiff，都安装好后就可以运行这个bat文件，启动ConfyUI了。看到熟悉的127.0.0.1的提示，就可以在浏览器复制这个地址，进入ConfyUI了。第一次进入界面一定会弹出各种爆红，缺失节点的提示。我们点击管理器，点击安装缺失节点，这时候就看到提示有各种节点需要安装，依次挨个点击右边的安装即可。
– 最下面这个红色错误提示啊，是因为我们现在还没把AnimateDiff专属的动态模型放置过来。按照安装教程的说明，把V15_V2.ckpt模型放置在这个位置即可。
- ConfyUI一大亮点就是可以直接拖进各种工作流，这里面一系列官方的工作流都给大家准备好了。例如，我们把这个PointTravel工作流拖进ConfyUI，在这里面可以选择不同的大模型等，设置好后直接点击提示词对列，就开始生成视频了。
通过观察绿色高亮节点的位置就可以知道ConfyUI运行到哪一步了，并且有进度调提示。当视频生成好后就可以直接在ConfyUI界面预览到最终的渲染结果。ConfyUI版AnimateDiff要比StableDiffusion版AnimateDiff更加节省显存。使用ConfyUI后，三者渲染的最大分辨率均有所提升。8GB RTS2070已经可以渲染到1K分辨率的画面。
不同配置下Stable Diffusion Web UI版AnimateDiff的最大出头分辨率
苹果Max Studio M1 Ultra我测试过最高跑到1200×1200左右的分辨率完全没有问题，只是速度实在是太慢太慢了，16帧图片就跑了一个半小时，实在不敢再往下加分辨率和帧数了。而RTS2070 8GB显卡最大只能渲染到512×768的分辨率，再往上加就爆显存了。而七彩虹RTX4060Ti 16GB显卡分辨率可以去到1.5K级别也没有问题。不管是Windows还是MAC苹果电脑都可以安装Configurations UI版AnimateDiff。完整的安装流程和安装包都已经给大家准备好了。安装方法都是差不多的，首先得安装Configurations UI，然后在Configurations UI上安装AnimateDiff。我们先下载和解压给大家提供的Windows Max通用版Configurations UI，然后按照步骤操作，主要是通过代码的方式安装这三个插件，一个是节点管理器，相当于是在线插件库，可以让你把缺失的节点自动加载回来；第二个是汉化插件，安装好后点击右下方的这个小齿轮按钮，然后就可以把英文界面改成中文了，这时候不单单是菜单，节点上的参数也同时汉化好了；第三个就是config版的AnimateDiff，都安装好后就可以运行这个bat文件，启动Conf UI了。看到熟悉的127.0.0.1的提示，就可以在浏览器复制这个地址，进入Conf UI了。第一次进入界面一定会弹出各种爆红，缺失节点的提示。我们点击管理器，点击安装缺失节点，这时候就看到提示有各种节点需要安装，依次挨个点击右边的安装即可。最下面这个红色错误提示啊，是因为我们现在还没把AnimateDiff专属的动态模型放置过来。按照安装教程的说明，把E5 VR模型放置在这个位置即可。Conf UI一大亮点就是可以直接拖进各种工作流，这里面一系列官方的工作流都给大家准备好了。例如，我们把这个PointTravel工作流拖进Conf UI，在这里面可以选择不同的大模型，这里可以加载VA1色调文件，下面是设置总帧数，这边是加载AnimateDiff的专用模型，这里可以设置输出视频的分辨率，P4大小是视频的总帧数，下方可以输入不同时间段的Point Trouble和反向提示词，这边是设置采样器的信息，选择不同的采样器，采样步骤，CFG值等等。最右边是设置视频的帧数率、输出格式等。设置好后直接点击提示词对列，就开始生成视频了。通过观察绿色高亮节点的位置就可以知道Conf UI运行到哪一步了，并且有进度调提示。当视频生成好后就可以直接在Conf UI界面预览到最终的渲染结果。Conf UI版AnimateDiff要比StableDiffusion版AnimateDiff更加节省显存。使用Conf UI后，三者渲染的最大分辨率均有所提升。8GB RTS2070已经可以渲染到1K分辨率的画面。
安装和使用ConfyUI版AnimateDiff
不管是Windows还是MAC苹果电脑都可以安装Configurations UI版AnimateDiff。完整的安装流程和安装包都已经给大家准备好了。安装方法都是差不多的，首先得安装Configurations UI，然后在Configurations UI上安装AnimateDiff。我们先下载和解压给大家提供的Windows Max通用版Configurations UI，然后按照步骤操作，主要是通过代码的方式安装这三个插件，一个是节点管理器，相当于是在线插件库，可以让你把缺失的节点自动加载回来；第二个是汉化插件，安装好后点击右下方的这个小齿轮按钮，然后就可以把英文界面改成中文了，这时候不单单是菜单，节点上的参数也同时汉化好了；第三个就是config版的AnimateDiff，都安装好后就可以运行这个bat文件，启动Conf UI了。看到熟悉的127.0.0.1的提示，就可以在浏览器复制这个地址，进入Conf UI了。第一次进入界面一定会弹出各种爆红，缺失节点的提示。我们点击管理器，点击安装缺失节点，这时候就看到提示有各种节点需要安装，依次挨个点击右边的安装即可。最下面这个红色错误提示啊，是因为我们现在还没把AnimateDiff专属的动态模型放置过来。按照安装教程的说明，把E5 VR模型放置在这个位置即可。Conf UI一大亮点就是可以直接拖进各种工作流，这里面一系列官方的工作流都给大家准备好了。例如，我们把这个PointTravel工作流拖进Conf UI，在这里面可以选择不同的大模型，这里可以加载VA1色调文件，下面是设置总帧数，这边是加载AnimateDiff的专用模型，这里可以设置输出视频的分辨率，P4大小是视频的总帧数，下方可以输入不同时间段的Point Trouble和反向提示词，这边是设置采样器的信息，选择不同的采样器，采样步骤，CFG值等等。最右边是设置视频的帧数率、输出格式等。设置好后直接点击提示词对列，就开始生成视频了。通过观察绿色高亮节点的位置就可以知道Conf UI运行到哪一步了，并且有进度调提示。当视频生成好后就可以直接在Conf UI界面预览到最终的渲染结果。Conf UI版AnimateDiff要比StableDiffusion版AnimateDiff更加节省显存。使用Conf UI后，三者渲染的最大分辨率均有所提升。8GB RTS2070已经可以渲染到1K分辨率的画面。
不同配置下Stable Diffusion Web UI版AnimateDiff的最大出头分辨率
苹果Max Studio M1 Ultra我测试过最高跑到1200×1200左右的分辨率完全没有问题，只是速度实在是太慢太慢了，16帧图片就跑了一个半小时，实在不敢再往下加分辨率和帧数了。而RTS2070 8GB显卡最大只能渲染到512×768的分辨率，再往上加就爆显存了。而七彩虹RTS4060Ti 16GB显卡分辨率可以达到1.5K级别也没有问题。不管是Windows还是MAC苹果电脑都可以安装Configurations UI版AnimateDiff。
完整的安装流程和安装包都已经给大家准备好了。安装方法都是差不多的，首先得安装Configurations UI，然后在Configurations UI上安装AnimateDiff。我们先下载和解压提供的Windows和Mac通用版Configurations UI，然后按照步骤操作，主要是通过代码的方式安装这三个插件：节点管理器（相当于是在线插件库，可以让你把缺失的节点自动加载回来）、汉化插件（安装好后点击右下方的小齿轮按钮，然后就可以把英文界面改成中文了，这时候不单单是菜单，节点上的参数也同时汉化好了）、config版的AnimateDiff。都安装好后就可以运行bat文件启动Conf UI了。看到熟悉的127.0.0.1的提示，就可以在浏览器复制这个地址，进入Conf UI了。第一次进入界面一定会弹出各种缺失节点的提示，我们点击管理器，点击安装缺失节点，这时候就看到提示有各种节点需要安装，依次挨个点击右边的安装即可。最下面这个红色错误提示是因为我们现在还没把AnimateDiff专属的动态模型放置过来，按照安装教程的说明，把E5 VR模型放置在指定位置即可。
ComfyUI一大亮点就是可以直接拖进各种工作流，这里面一系列官方的工作流都给大家准备好了。例如，我们把这个PointTravel工作流拖进ComfyUI，在这里面可以选择不同的大模型，加载VA1色调文件，设置总帧数，下方可以输入不同时间段的Point Trouble和反向提示词，这边是设置采样器的信息，选择不同的采样器、采样步骤、CFG值等等。最右边是设置视频的帧数率、输出格式等。设置好后直接点击提示词队列，就开始生成视频了。通过观察绿色高亮节点的位置就可以知道Conf UI运行到哪一步了，并且有进度调提示。当视频生成好后就可以直接在Conf UI界面预览到最终的渲染结果。Conf UI版AnimateDiff要比StableDiffusion版AnimateDiff更加节省显存，使用Conf UI后三者渲染的最大分辨率均有所提升。8GB RTS2070已经可以渲染到1K分辨率的画面。
up：CG迷李辰
相关文章
提供CDN加速/云存储服务
