简要介绍
先稍微介绍一下instruct-pix2pix
instruct-pix2pix作者团队提出了一种通过人类自然语言指令编辑图像的方法。他们的模型能够接受一张图像和相应的文字指令(也就是prompt)，根据指令来编辑图像。作者团队使用两个预训练模型（一个是语言模型GPT-3, 另一个是文本到图像模型Stable Diffusion) 生成大量编辑图像的样例数据,然后基于这些数据训练出InstructPix2Pix模型，能够在推理过程中适用于真实图像和用户提供的指令。由于它在前向传播中执行编辑并且不需要对每个示例进行fine-tine或 inversion，模型仅需几秒钟就可快速完成图片的编辑
时间线
1.18 论文发表
之后 diffusers的pipeline加入instructPix2Pix 也有了配套ckpt safetensor模型文件
1.25 stable-diffusion-webui 作者接收关于instruct-pix2pix模型支持的PR 配合PR的作者的拓展即可在webUI中使用instructPix2Pix
环境配置
2023.1.31 更新 已打包好镜像 大家直接拉取使用即可(无需再折腾pytorch更新等烦心事) ->
封装了A41webui(2023 1 28)及所有依赖,更新了pytorch1.13.1 增加了instructpix2pix支持 内置了anything4.5.镜像创建后即可开箱使用
更新webui到最新
在webUI目录下输入 git pull
注意 ! 现在webUI对pytorch的版本要求改到了新的 1.13.1 国内pip镜像源里没可能还没收录 需要自行去pypi下载
为方便大家更新 这三件套已全套打包上传百度云 和我环境一致可以直接下载安装 需先 pip uninstall torch卸载老版本 然后再依次下载安装
下载模型文件
timbrooks/instruct-pix2pix at main 模型下载到webui 的模型目录下
下载webUI的instruct-pix2pix拓展插件
此处内容需要权限查看
会员免费查看
