利用SD生成超稳定卡通动画视频丨Stable Diffusion Temporal-Kit+EbSynth 保姆级AI不闪超稳定动画教程

116,676 0 0

目前利用stablediffusion来重绘小姐姐跳舞视频基本上不会卡顿，这是怎么生成的呢？这一节课我们将学习更稳定的动画重绘技术。在图生图模式下，采用拼图技术将多个关键帧图像拼合成一张图像，利用 Stable Diffusion 同一浅空间的稳定性原理生成更为一致性的重绘动画。

剪影处理原视频

首先，我们使用剪影来进行原视频的抠像处理。为了后续的稳定性，我们决定提前将背景进行抠像处理。可以自己制作一张比较深色的渐变背景，然后将两个内容都放到剪辑的轨道上。导出当前的文件，选择路径，分辨率设置成2K，码率选择最高的，然后导出。这样简单的背景就替换完成了。

使用SD生成稳定动画

打开SD软件，进入Temporal Kit，在预处理里将之前处理好的抠像换背景的视频拖动放到这里。设置拼图为3×3，原视频的高度是1920，所以拼图的高度应为1920×3。每5帧提取一个关键帧，勾选EBSense模式，保存当前设置，复制文件夹的路径，勾选批量处理和分割视频，然后运行参数。完成后，可以看到产生的子文件夹下有一个input的文件夹，里面有9张合在一起的拼图，我们看到3×3的这张图的高度是5760。

使用图生图生成动画

进入图生图的模式
选择一个适合的大模型
正向提示词使用较少，主要是几个品质关键词加入软光照明
反向提示词使用标准的关键词
测量当前尺寸为1440×1920
尺寸倍数为0.5，即只有原视频一半的尺寸精度
迭代步数设置为30
采样方法选择Aurora A
content/uploads/2023/08/wp_editor_md_273dbaaf7688595622cf3cb0a1b2ded0.jpg)](https://www.yizz.cn/wp-content/uploads/2023/08/wp_editor_md_273dbaaf7688595622cf3cb0a1b2ded0.jpg)
提示词引导系数设置为9
重绘幅度设置为0.43
[![](https://www.yizz.cn/wp-
启用第一个ControlNet
选择canny硬边缘，预处理器默认为canny
勾选完美像素模式
控制模式改成更偏向ControlNet
控制权重默认为1
最后开始进行单帧图片重绘测试

– 整体风格确定
– 观察大体上风格是否已经确定
– 使用拼图文件进行测试
– 设置重绘尺寸为1440×1920
– 进行测试
– 观察canny产生的轮廓线效果
– 多生成几次，选择背景比较统一的种子数进行渲染
– 生成图片并观察受光效果，但是精度不够高，进行二次放大

– 二次放大
– 对图片进行二次放大
– 采用图生图的特殊放大方法
– 将图片拖动到图生图中
– 设置重绘幅度为0.2
– 可以先关掉第一个canny，打开第二个ControlNet模型，启用Tile分块
– 在预处理器选择无，更偏向提示词

– 打开Ultimate SD Upscale脚本
– 选择放大尺寸和算法
– 可以打开tiled vae
– 生成图片并观察精度提升

– 继续利用后期处理放大至原视频大小
– 发送到后期处理中进行剩下的放大
– 设置缩放比例为1.5倍
– 选择合适的放大算法
– 进行图像生成
– 使用后期处理的方式进行效果优化

图像重绘完成

通常SD的图片都保存在SD下面Outputs下的image2image文件夹下。这是刚才进行两倍放大的图片。在后期处理中放大的图片保存在Outputs的Extras扩展图片文件夹下。所以在这里我们可以找到刚才这张图片，它是又进行了1.5倍放大的图片。看一下它的属性，当前它的尺寸已经到达了4320×5760，即三倍的原视频尺寸。这是原来进行了两倍放大的图片，这是我们又进行了1.5倍放大的图片。可以看到它在保持原来的基础上进行了更高清晰度的努力，所以这个效果会比刚才的效果更好。

最终生成动画

现在已经完成了图片的重绘，将这张图片复制，粘贴到Outputs下，并改变文件名，保持与原图一致。如果有多张图片的话，需要将多张图片也拷贝过来，并挨个命名，确保每一张图对应到对应的Input的名称上。

接下来我们来到TemplarKit的EPSynth流程
- 复制整个工程文件夹目录，
- 把工程文件下的视频main_video复制过来
- 载入之前的设置
- 设置分辨率和数量
- 每边的数量设置为3×3
- 输出分辨率与原视频保持一致，即1920
处理完成之后
- 打开Running文件夹
- 在0目录下找到keys文件夹
- 将视频拆分成单帧，每帧的精度为1920
打开EPSense软件
- 将Frame放到Video上
- 将keys放到Frame上
- 在高级参数选项中选择细节hight模式
- 注意：该模式下运算时间会成倍增长，对于生成较多图像帧的情况要慎用
回到SD软件中
- 按下重组EPSense
- 在Running根目录下打开渲染最终的Output动画
- 查看最终动画效果
- 注意：动画的稳定性、脸部、眉毛、眼睛是否有跑位现象
结论：拼图方式能提供更稳定的效果
up：火星时代官方