FramePack：使用下一帧预测模型进行视频生成的官方实现和桌面软件

什么是 FramePack？

FramePack 是一种下一帧（下一帧部分）预测的神经网络结构，用于逐步生成视频。它通过将输入上下文压缩到固定长度，使得生成工作量与视频长度无关。这意味着即使在笔记本电脑 GPU 上，使用 13B 模型也能处理大量的帧。

简单来说，你可以把它想象成一个视频版的图像扩散模型，让你能够更高效地生成视频。

FramePack 的主要特点是什么？

• 高效性： FramePack 可以将输入上下文压缩到固定长度，使得生成工作量与视频长度无关，从而能够处理大量的视频帧。
• 低资源需求： 即使使用 13B 模型，在配备 6GB 显存的笔记本电脑 GPU 上也能运行。
• 易于训练： FramePack 可以使用更大的批量大小进行训练，与图像扩散训练的批量大小相似。
• 实时反馈： 由于采用下一帧预测，你可以在视频生成过程中实时看到生成的帧，方便调整和优化。
• 独立性： 这是一个功能性的桌面软件，具有最小化的独立高质量采样系统和内存管理。

硬件和软件要求是什么？

• GPU： Nvidia GPU，推荐 RTX 30XX、40XX、50XX 系列，且支持 fp16 和 bf16。虽然 GTX 10XX/20XX 系列可能也能运行，但未经官方测试。
• 操作系统： Linux 或 Windows。
• GPU 内存： 至少 6GB。 如果要使用 13B 模型生成 1 分钟 (60 秒)，30fps (1800 帧) 的视频，最小 6GB 即可。
• Python版本： 推荐使用独立的 Python 3.10 环境。

如何安装 FramePack？

Windows 安装步骤

1. 下载一键包： 点击 此处 下载一键包（CUDA 12.6 + Pytorch 2.6）。 (链接待补充)
2. 解压： 将下载的压缩包解压到本地。
3. 更新： 运行 update.bat 文件进行更新，务必执行此步骤，以确保使用最新版本并修复潜在的 bug。
4. 运行： 运行 run.bat 文件启动 FramePack。

注意：模型将自动从 HuggingFace 下载，预计需要下载超过 30GB 的数据。

Linux 安装步骤

1. 创建独立的 Python 3.10 环境 (推荐)
2. 安装 PyTorch：

   pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu126

3. 安装依赖：

   pip install -r requirements.txt

4. 启动 GUI：

   python demo_gradio.py

   可以通过 --share、--port、--server 等参数进行配置。

如何提高 FramePack 的运行速度？

• 更强大的 GPU： 更高端的 GPU，如 RTX 4090，可以显著提高生成速度。
• 优化注意力机制： FramePack 支持多种注意力机制，包括 PyTorch attention、xformers、flash-attn、sage-attention。 默认情况下，它使用 PyTorch attention。 如果你了解如何安装，可以尝试安装其他注意力内核以提高性能。

例如，要在 Linux 上安装 sage-attention：

pip install sageattention==1.0.6

注意： 建议先尝试不安装 sage-attention，因为它可能会对结果产生影响，尽管影响很小。

如何判断 FramePack 运行是否正常？

• 观察生成速度： 在 RTX 4090 上，未优化时生成速度约为 2.5 秒/帧，使用 teacache 优化后约为 1.5 秒/帧。 如果你的速度明显低于此值，请检查你的硬件配置和软件设置。
• 观察实时反馈： 由于 FramePack 采用下一帧预测，你可以在视频生成过程中实时看到生成的帧。 这可以帮助你判断程序是否正常运行，并及时发现问题。

注意事项

请注意，唯一的 FramePack 官方网站是此 GitHub 仓库。 任何其他网站，包括但不限于 framepack.co、frame_pack.co 等，都是垃圾网站和虚假网站。 请勿在这些网站上花钱或下载文件，谨防上当受骗！

总结：

FramePack 是一款基于下一帧预测的视频生成工具，其优势在于高效、资源需求低，并提供实时反馈。它适用于对视频生成感兴趣，但受限于硬件资源的用户。通过简单的安装步骤，用户即可在自己的设备上体验视频生成的乐趣。需要注意的是，用户应从官方渠道获取软件，谨防网络诈骗。

目标用户： 对视频生成感兴趣，但受限于硬件资源，希望在本地电脑上进行创作的用户，例如学生、独立开发者、小型工作室等。

使用场景： 视频内容创作、AI艺术创作、实验性视频生成等。