ComfyUI-AnimateDiff-Evolution
# ComfyUI的AnimateDiff
**ComfyUI的AnimateDiff** 是对AnimateDiff工具的增强集成,最初改编自sd-webui-animatediff项目。随着时间的推移,这种集成经历了重大改进。要深入了解AnimateDiff的核心工作原理,请参考[AnimateDiff存储库的README文件](插入链接到README文件)。
以下是通常与ComfyUI的AnimateDiff一起使用的一些有用节点和功能:
– **ComfyUI_FizzNodes**:用于批处理提示计划。
– **ComfyUI-Advanced-ControlNet**:支持批量加载文件并控制哪些潜在因素应受ControlNet输入的影响。未来的工作将包括更高级的工作流程和更多AnimateDiff功能。
– **ComfyUI-VideoHelperSuite**:提供加载视频、将图像组合成视频以及执行各种图像相关操作(如追加、拆分、复制、选择或计数)的功能。
– **comfyui_controlnet_aux**:这是原始ComfyUI中没有的ControlNet预处理器。请注意,如果以前使用了`comfy_controlnet_preprocessors`,您可能需要将其删除,以避免可能的兼容性问题。这个模块由社区积极维护。
## 安装
### 如果使用Comfy Manager:
1. 在Comfy Manager中搜索ComfyUI的AnimateDiff,并确保作者是[EvolvedKosinkadink](插入作者名称)。
2. 安装它。
### 如果手动安装:
1. 将此存储库克隆到您的文件夹中。
## 使用方法
1. 下载运动模块。您至少需要一个。不同的模块产生不同的结果:
– 原始模型:[Google Drive] | [Hugging Face] | [Citi] | [Baidu]
– 由[EvolvedKosinkadink] 和[Hugging Face] 提供的稳定mm_sd_v14微调版本。
– 由[EvolvedKosinkadink] 和[Hugging Face] 提供的mm_sd_v15_v2微调版本。
– 由[CiaraRowles] 提供的更高分辨率微调版本。
2. 将这些模型放在以下目录中,并根据需要进行重命名:
“`
ComfyUI/custom_nodes/ComfyUI-AnimateDiff-Evolved/models
“`
3. 可选地,您可以使用运动LoRA来影响基于v2的运动模型,例如`mm_sd_v15_v2`:
– [Google Drive] | [Hugging Face]
将运动LoRA放入以下目录中,并根据需要进行重命名:
“`
ComfyUI/custom_nodes/ComfyUI-AnimateDiff-Evolved/motion-lora
“`
4. 发挥您的创造力!如果对常规图像生成有效,那么它可能对AnimateDiff生成也有效。想要高端的结果吗?尽管去做。堆叠控制网,一个或多个?当然。微调您的反射以仅影响动画的部分?绝对可以。尝试新的方法,您将惊讶于您可以实现的事情。下面提供了示例工作流程。
## 特点
– 兼容各种采样器、原始KSampler节点和高效KSampler节点。
– 支持Control Net – 在帧之间或帧内进行插值,可用于IMG2video(请参见下面的工作流程)。
– 支持使用滑动上下文窗口的无限动画长度(在9/17/23引入)。
– 实施了原始AnimateDiff存储库中的可混合运动LoRA。警告:仅适用于基于v2的运动模型,例如`mm_sd_v15_v2`。
– 从9/27/23开始,批处理提示旅行节点支持ComfyUI_FizzNodes。
– 从10/05/23开始,支持HotshotXL(SDXL运动模块拱形)。请注意:beta_schedule、context_length或总帧数的最佳点(当不使用上下文时)为8帧,您需要使用SDXL检查点。
随着开发的进展,将添加更多的文档和示例工作流程。