如何在Stable Diffusion中使用控制网指定角色的姿势-云案通一起AI网

在本文中,我将解释在使用Stable Diffusion生成图像时如何在 ControlNet 中指定插图的构图。

ControlNet 很容易作为 AUTOMATIC1111(稳定扩散的 Web UI)的扩展,让您完全控制生成的图像中角色的姿势和构图。 请利用它。

安装控制网

构建 AUTOMATIC1111 环境后,将 ControlNet 作为扩展进行安装。
具体安装过程在以下文章中进行了说明。

创建用于控制网络的姿势数据

设置 AUTOMATIC1111 和 ControlNet 后,创建姿势数据,让角色实际执行您希望角色在 ControlNet 中采取的姿势

使用设计娃娃创建

要创建姿势数据,请使用名为“设计娃娃”的工具,该工具可以免费使用。
以下文章解释了如何安装和使用Design Doll,因此请提前创建姿势数据。

使用开放姿势编辑器创建

一个名为Openpose Editor的工具已经发布,它扩展了AUTOMATIC1111的UI。
通过使用Openpose编辑器,您现在可以在AUTOMATIC1111的UI中创建姿势数据,而无需使用外部工具

以下页面介绍了如何安装和使用 Openpose 编辑器。

使用 OpenOpse 生成插图

在设置 AUTOMATIC1111 和 ControlNet 并准备姿势数据后,我们将实际使用 ControlNet 生成图像。

启动 AUTOMATIC1111 后,单击下面的 ControlNet 项将其展开。

如何在Stable Diffusion中使用控制网指定角色的姿势-云案通一起AI网

展开 ControlNet 项目时,有一个项目用于加载用于指定合成的图像,因此请将姿势文件拖放到此红框区域。

如何在Stable Diffusion中使用控制网指定角色的姿势-云案通一起AI网

加载完成后,将显示姿势数据的图像,如下所示。
在红框的“预处理器”项中选择“openpose”,在相邻的“模型”项中选择“control_openpose-fp16.safetensors”。

如何在Stable Diffusion中使用控制网指定角色的姿势-云案通一起AI网

选中“启用”并将图像大小设置为刚刚导入的姿势数据的图像大小。

如何在Stable Diffusion中使用控制网指定角色的姿势-云案通一起AI网

这样就完成了控制网配置。
之后,以与正常图像生成相同的方式输入提示、参数等,然后单击“生成”按钮执行图像生成过程。

执行结果

从这里,我们将读取使用 ControlNet 在设计娃娃中实际创建的姿势数据,并检查是否可以重现该姿势。

使用的姿势数据

首先,这是这次使用设计娃娃创建的姿势数据。 如前所述,将此映像加载到 ControlNet 中。

如何在Stable Diffusion中使用控制网指定角色的姿势-云案通一起AI网

提示如下:

正面提示

(best quality)+,(masterpiece)++,(ultra detailed)++, The big city of the near future. She is a girl in a hoodie standing alone.

负面提示

 (low quality, worst quality)1.4, (bad anatomy)+, (inaccurate limb)1.3,bad composition, inaccurate eyes, extra digit,fewer digits,(extra arms)1.2,logo,text

在上述条件下生成图像。

Stable Diffusion生成的图像

这是生成的图像。

角色的姿势几乎完全再现为设计娃娃创建的姿势数据。
背景描绘了提示街上的未来派城市。

如何在Stable Diffusion中使用控制网指定角色的姿势-云案通一起AI网

还输出了 OpenOpse 在生成 ControlNet 时检测到的骨架图。 我们能够从设计娃娃的姿势中确认骨骼被正确检测到。

如何在Stable Diffusion中使用控制网指定角色的姿势-云案通一起AI网