扩散模型训练成本的革命性降低

引言

在人工智能领域，尤其是深度学习模型的训练，成本一直是限制其普及的重要因素。最近，加州大学尔湾分校等机构的研究人员通过一系列创新策略，显著降低了扩散模型的训练成本，使得这一技术更加亲民。

扩散模型训练成本的挑战

问题： 训练一个扩散模型需要多少钱？
答案： 以往的方法成本高昂，例如Wuerstchen的方法需要28400美元，而Stable Diffusion等模型的成本更是高一个数量级。这使得大多数个人和小型机构难以承担。

降低成本的策略

延迟掩蔽策略

• 策略简介： 通过延迟掩蔽策略，研究人员在mask之前使用混合器（patch-mixer）进行预处理，将被丢弃patch的信息嵌入到幸存的patch中，减少性能下降。
• 技术细节： patch-mixer通过注意力层和前馈层的组合实现，使用二进制掩码进行mask。

MoE和分层扩展

• MoE（Mixture of Experts）： 通过简化MoE层，每个专家确定路由到它的token，无需额外的辅助损失函数。
• 分层扩展： 线性增加Transformer块的宽度，使得更深层学习更复杂的特征。

实验设置与结果

实验设置

• 模型变体： 使用DiT-Tiny/2和DiT-Xl/2，patch大小为2。
• 优化器： 使用具有余弦学习率衰减和高权重衰减的AdamW优化器。
• 性能评估： 使用FID和CLIP分数来衡量图像生成模型的性能。

实验结果

• 性能提升： 11.6亿参数的扩散模型在FID分数上接近Stable Diffusion 1.5和DALL·E 2，显示出优秀的性能。

感悟与想法

我认为：这项研究不仅在技术上取得了突破，更重要的是它为人工智能的普及和应用开辟了新的道路。通过降低成本，使得更多的人和机构能够接触到并利用这些强大的模型，这对于推动整个领域的发展具有重要意义。

标签： #人工智能