IP-Adapter模型最新版

# IP-Adapter模型介绍

## 项目页面

### 介绍
在这里，我们介绍IP-Adapter，一种用于实现预训练文本到图像扩散模型的图像提示功能的有效且轻量级的适配器。拥有仅22M参数的IP-Adapter能够达到与精调图像提示模型相当甚至更好的性能。IP-Adapter不仅可以泛化到从相同基础模型微调的其他自定义模型，还可以应用于使用现有可控工具进行可控生成。此外，图像提示还可以与文本提示很好地配合，实现多模态图像生成。

### 结构

#### 模型
– **图像编码器**
– `models/image_encoder`: OpenCLIP-ViT-H-14，参数为632.08M
– `sdxl_models/image_encoder`: OpenCLIP-ViT-bigG-14，参数为1844.9M
– 更多信息可以在这里找到[链接](更多信息链接)

#### IP-Adapter for SD 1.5
– `ip-adapter_sd15.bin`: 使用来自OpenCLIP-ViT-H-14的全局图像嵌入作为条件
– `ip-adapter_sd15_light.bin`: 与ip-adapter_sd15相同，但更兼容文本提示
– `ip-adapter-plus_sd15.bin`: 使用来自OpenCLIP-ViT-H-14的补丁图像嵌入作为条件，比ip-adapter_sd15更接近参考图像
– `ip-adapter-plus-face_sd15.bin`: 与ip-adapter-plus_sd15相同，但使用裁剪的面部图像作为条件

#### IP-Adapter for SDXL 1.0
– `ip-adapter_sdxl.bin`: 使用来自OpenCLIP-ViT-bigG-14的全局图像嵌入作为条件
– `ip-adapter_sdxl_vit-h.bin`: 与ip-adapter_sdxl相同，但使用OpenCLIP-ViT-H-14
– `ip-adapter-plus_sdxl_vit-h.bin`: 使用来自OpenCLIP-ViT-H-14的补丁图像嵌入作为条件，比ip-adapter_xl和ip-adapter_sdxl_vit-h更接近参考图像
– `ip-adapter-plus-face_sdxl_vit-h.bin`: 与ip-adapter-plus_sdxl_vit-h相同，但使用裁剪的面部图像作为条件

### 安装步骤
1. 下载IP-Adapter代码库并解压缩。
2. 安装所需的依赖项：**依赖库1**，**依赖库2**。
3. 下载预训练的图像编码器模型权重文件。
4. 将所需的IP-Adapter模型文件（根据SD版本或SDXL版本选择）下载到相应的目录。
5. 运行示例代码以测试IP-Adapter的性能和功能。

### 关键词
#IP-Adapter #图像提示 #文本到图像扩散 #OpenCLIP #SD 1.5 #SDXL 1.0 #图像生成 #模型适配器