在本文中,我将解释在使用Stable Diffusion生成图像时如何在 ControlNet 中指定插图的构图。
ControlNet 很容易作为 AUTOMATIC1111(稳定扩散的 Web UI)的扩展,让您完全控制生成的图像中角色的姿势和构图。 请利用它。
安装控制网
构建 AUTOMATIC1111 环境后,将 ControlNet 作为扩展进行安装。
具体安装过程在以下文章中进行了说明。
创建用于控制网络的姿势数据
设置 AUTOMATIC1111 和 ControlNet 后,创建姿势数据,让角色实际执行您希望角色在 ControlNet 中采取的姿势。
使用设计娃娃创建
要创建姿势数据,请使用名为“设计娃娃”的工具,该工具可以免费使用。
以下文章解释了如何安装和使用Design Doll,因此请提前创建姿势数据。
使用开放姿势编辑器创建
一个名为Openpose Editor的工具已经发布,它扩展了AUTOMATIC1111的UI。
通过使用Openpose编辑器,您现在可以在AUTOMATIC1111的UI中创建姿势数据,而无需使用外部工具。
以下页面介绍了如何安装和使用 Openpose 编辑器。
使用 OpenOpse 生成插图
在设置 AUTOMATIC1111 和 ControlNet 并准备姿势数据后,我们将实际使用 ControlNet 生成图像。
启动 AUTOMATIC1111 后,单击下面的 ControlNet 项将其展开。

展开 ControlNet 项目时,有一个项目用于加载用于指定合成的图像,因此请将姿势文件拖放到此红框区域。

加载完成后,将显示姿势数据的图像,如下所示。
在红框的“预处理器”项中选择“openpose”,在相邻的“模型”项中选择“control_openpose-fp16.safetensors”。

选中“启用”并将图像大小设置为刚刚导入的姿势数据的图像大小。

这样就完成了控制网配置。
之后,以与正常图像生成相同的方式输入提示、参数等,然后单击“生成”按钮执行图像生成过程。
执行结果
从这里,我们将读取使用 ControlNet 在设计娃娃中实际创建的姿势数据,并检查是否可以重现该姿势。
使用的姿势数据
首先,这是这次使用设计娃娃创建的姿势数据。 如前所述,将此映像加载到 ControlNet 中。

提示如下:
正面提示
(best quality)+,(masterpiece)++,(ultra detailed)++, The big city of the near future. She is a girl in a hoodie standing alone.
负面提示
(low quality, worst quality)1.4, (bad anatomy)+, (inaccurate limb)1.3,bad composition, inaccurate eyes, extra digit,fewer digits,(extra arms)1.2,logo,text
在上述条件下生成图像。
Stable Diffusion生成的图像
这是生成的图像。
角色的姿势几乎完全再现为设计娃娃创建的姿势数据。
背景描绘了提示街上的未来派城市。

还输出了 OpenOpse 在生成 ControlNet 时检测到的骨架图。 我们能够从设计娃娃的姿势中确认骨骼被正确检测到。
