如何在Comfyui使用AI视频生成模型Pyramid-Flow-SD3

什么是Pyramid-Flow-SD3？

Pyramid-Flow-SD3是一款由快手、北京大学及北京邮电大学联合开源的AI视频生成模型。它能够生成长视频，在视频生成领域具有卓越表现。其生成的视频效果流畅自然，展现了强大的技术实力。​

该模型有哪些特点？

1. 高分辨率与帧率：
   • 生成视频的分辨率为1280×768，时长40秒，帧率为24。
   • 支持生成短至五秒的视频，效果依旧流畅。
2. 图生视频功能：
   • 可以依据图片生成动态视频，使静态画面充满生命力。如生成流动的云朵、波浪等。
3. 视频生成质量对比：
   • 官方提供了生成效果与其他竞品的比较，证明了它的出色表现​

如何安装和使用Pyramid-Flow-SD3？

模型获取

• 模型地址在抱脸上开源，模型大小近30G。若网络不好，可以通过网盘下载。

系统要求

• 模型运行所需显存低，本地仅需不到10G。

安装与配置

1. 模型存放：
   • 将模型文件放入指定目录：ComfyUl/models/pyramidflow/pyramid-flow-sd3。
   • 作者提供了相关节点，例如Comfy UI Pyramid Flow Wrapper节点，需要将模型放到特定位置。
2. 提示词使用：
   • 输入正向提示词如“篝火燃烧”，模型即可生成相关视频。
   • 提示词样例： 鸡肉和青椒在烧烤架上，烟花爆炸，蒸汽火车在桥上等。

使用Pyramid-Flow-SD3生成视频的实际体验

纹身视频工作流

• 显存使用： 本地使用显存不高，少于10G,效果与官方一致。
• 提示词样例： 篝火燃烧、鸡肉烧烤、蒸汽火车在桥上。

图生视频工作流

• 上传图片并添加提示词生成视频。
• 注意：动态幅度较小，应选择有动态元素的图片。

视频合并功能

• 双视频生成和合并：
  • 生成两个内容不一的视频，并进行合并，探讨不同效果。

声音生成节点

• 文声音频： 可生成如流水、鸟鸣、木头燃烧等背景声音配合视频。
• 使用节点可实现视频与音频的完美融合。

项目地址：https://github.com/kijai/ComfyUI-PyramidFlowWrapper

我的感悟

我认为：Pyramid-Flow-SD3不仅在技术上展示了人工智能与视觉呈现的完美融合，也为创作者提供了多元化、便捷的创作工具。其高效的生成视频能力必将在视觉媒体领域掀起新的风潮。未来，我们将看到越来越多令人惊叹的作品诞生于这类工具之下。