Latent Consistency Models (LCM)简介

Latent Consistency Models (LCMs)是一种生成模型，是在Latent Diffusion Models (LDMs，潜在扩散模型)之后的一代生成模型。LCMs旨在克服LDMs中缓慢的迭代采样过程，并能够在任何预训练的LDMs上实现快速推理，仅需少量步骤。

通过将引导反向扩散过程视为解决增强的概率流动ODE (PF-ODE) 的过程，LCMs可以直接在潜在空间中预测其解决方案，从而实现极快的推理速度。

使用LCM，可以从任何预训练的稳定扩散模型 (Stable Diffusion, SD) 中提取出高质量的768×768 LCM，并仅需要32个A100 GPU训练小时（仅使用8个节点，仅需4个小时）来进行2~4步的推理。

几个步骤内生成的图像

通过Latent Consistency Models (LCMs)生成的图像。通过LCMs，即使在2~4步或甚至一步中，也可以生成高质量的768 x 768分辨率图像，从而显著加速了从文本到图像生成的过程。我们使用LCM从Dreamshaper-V7版本的SD中提取出图像，训练迭代仅需4,000步。

• 4步推理生成的图像
• 2步推理生成的图像
• 1步推理生成的图像

更多生成结果

使用LCM进行4步推理生成的更多图像结果（768 x 768分辨率）。我们使用LCM从Dreamshaper-V7版本的SD中提取出图像，训练迭代仅需4,000步。

Latent Consistency Fine-tuning (LCF)

Latent Consistency Fine-tuning (LCF) 是一种专为预训练的LCM设计的微调方法。通过LCF，在没有教师扩散模型的情况下，可以在定制数据集上进行高效的少步推理，为直接微调预训练的LCM提供了一个可行的选择。

使用Latent Consistency Fine-tuning (LCF) 进行4步LCMs的两个定制数据集实例：Pokemon数据集（左）和Simpsons数据集（右）。通过LCF，LCM可以生成具有定制风格的图像。

BibTeX

在使用该研究成果时，可以引用相应的BibTeX信息。

以上为对Latent Consistency Models (LCMs) 的概述及其相关应用的简要介绍。

关键词：Latent Consistency Models (LCMs), Latent Diffusion Models (LDMs), 潜在扩散模型, 生成模型, 推理速度, 图像生成, 微调方法, 自定义数据集.