文章目录

• 引子
• • 爆火的艺术二维码
  • 这种艺术二维码是如何制作出来的
• ControlNet 介绍
• • ControlNet的限制条件
  • • 边缘检测示例
    • 人体姿态检测示例
    • 使用Canny边缘检测和Openpose有什么区别？
• 安装稳定扩散控制网ControlNet
• • 安装ControlNet
  • 更新ControlNet扩展
• 如何使用Stable Diffusion生成艺术二维码
• • 生成二维码
  • 效果

引子

先看两张图

上面的话是两张有效的二维码，只要你拿起手机扫描这些图像，是可以扫出内容的。是不是难以置信？

爆火的艺术二维码

最近，在互联网上疯传一种崭新形式的二维码，它们摆脱了传统黑白方块的外观，而是呈现出令人赏心悦目的图像，一眼望去令人印象深刻。

这种艺术二维码是如何制作出来的

核心方案就是基于 Stable Diffusion 的 ControlNet 。使用ControlNet和QR Code。通过定位点，将一张风格化图像转化为可扫描的二维码。

ControlNet 介绍

ControlNet是一个稳定扩散模型，可以从参考图像中复制构图或人体姿势。

经验丰富的稳定扩散用户知道生成你想要的精确合成有多难。这些图像有点随机。你所能做的就是玩数字游戏：生成大量图像并选择一个你喜欢的图像。

有了ControlNet，Stable Diffusion用户终于可以精确地控制受试者的位置和外观了！

ControlNet是一个用于控制稳定扩散模型的神经网络模型。您可以将ControlNet与任何稳定扩散模型一起使用。使用稳定扩散模型的最基本形式是文本到图像。它使用文本提示作为条件来引导图像生成，以便生成与文本提示匹配的图像。

ControlNet的限制条件

ControlNet除了文本提示之外，还添加了一个条件。在ControlNet中，额外的条件可以采取多种形式。

边缘检测示例

ControlNet获取额外的输入图像，并使用Canny边缘检测器检测其轮廓。然后将包含检测到的边缘的图像保存为控制图。它被输入到ControlNet模型中，作为文本提示的额外条件。

稳定扩散控制网模型工作流。

具有Canny边条件的稳定扩散控制网。

从输入图像中提取特定信息（在这种情况下为边缘）的过程称为注释或预处理（在ControlNet扩展中）。

人体姿态检测示例

边缘检测并不是对图像进行预处理的唯一方法。Openpose是一种快速的人体关键点检测模型，可以提取手、腿和头部等人体姿势。请参阅下面的示例。

使用Openpose进行人体姿态检测注释的输入图像。

使用OpenPose从输入图像中提取关键点，并将其保存为包含关键点位置的控制图。然后将其与文本提示一起作为附加条件提供给“稳定扩散”。图像是基于这两个条件生成的。

使用Canny边缘检测和Openpose有什么区别？

Canny边缘检测器提取对象和背景的边缘。它倾向于更忠实地翻译场景。你可以看到跳舞的男人变成了女人，但轮廓和发型都保留了下来。

OpenPose只检测人类的关键点，如头部、手臂等的位置。图像生成更自由，但遵循原始姿势。

安装稳定扩散控制网ControlNet

让我们来了解如何在AUTOMATIC111中安装ControlNet，这是一个流行的、功能齐全（免费！）的稳定扩散GUI。我们将使用这个扩展，这是事实上的标准，用于使用ControlNet。

如果您已经安装了ControlNet，您可以跳到下一节了解如何使用它。

安装ControlNet

在windows PC或Mac上安装ControlNet

您可以在Windows PC或Mac上使用带有AUTOMATIC111的ControlNet。如果您还没有安装AUTOMATIC111，请按照这些文章中的说明进行安装。

如果您已经安装了AUTOMATIC111，请确保您的副本是最新的。

安装ControlNet扩展（Windows/Mac）

导航到“扩展”页面。

选择“从URL安装”选项卡。
3.将以下URL放入扩展存储库的URL字段中。
https://GitHub.com/Mikubill/sd-WEBui-controlnet
4、单击“安装”按钮。
5.等待确认消息，说明扩展已安装。
6.重新启动AUTOMATIC111。
7.访问ControlNet模型页面。
8.下载所有模型文件（文件名以.pth结尾）。
（如果你不想全部下载，你可以暂时下载最常用的openpose和canny模型。）
9.将模型文件放在ControlNet扩展的models目录中。
稳定扩散webui\扩展\sd webui控制网\模型
重新启动AUTOMATIC111webui。

如果扩展成功安装，您将在txt2img选项卡中看到一个名为ControlNet的新的可折叠部分。它应该位于脚本下拉菜单的正上方。

更新ControlNet扩展

ControlNet是一个经过快速发展的扩展。发现ControlNet副本已过时并不罕见。

只有在Windows或Mac上本地运行AUTOMATIC1111时才需要更新。网站的Colab笔记本总是运行最新的ControlNet扩展。

要确定您的ControlNet版本是否是最新的，请将txt2img页面ControlNet部分中的版本号与最新版本号进行比较。

步骤1:打开终端应用程序（Mac）或Powershell应用程序（Windows）。

步骤2：导航到ControlNet扩展的文件夹。（如果您安装在其他地方，请相应调整）

cd stable-diffusion-webui/extensions/sd-webui-controlnet

步骤3：通过运行以下命令更新扩展。

git pull

如何使用Stable Diffusion生成艺术二维码

Reddit最近的一篇帖子展示了一系列由Stable Diffusion创建的艺术二维码。这些二维码是用经过自定义训练的ControlNet模型生成的。就像稳定扩散社区的另一天一样，人们很快就学会了如何在没有自定义模型的情况下使用稳定扩散生成二维码。

生成二维码

您首先需要一个二维码。要增加成功的机会，请使用符合以下标准的二维码。

使用高容错设置（30%）。

在二维码（安静区域）周围留有空白。

使用最基本的正方形填充黑白图案。

避免使用在黑色元素之间引入细白线的生成器。

我们将在本教程中使用此二维码生成器。

步骤1：选择文本类型并输入二维码的文本。
步骤2：将容错率设置为30%。
步骤3：按生成。
步骤4：将二维码下载为PNG文件。

效果

下面是自己尝试生成的一些效果图


看效果比单调的正常二维码漂亮多了。

来源地址：https://blog.csdn.net/yikezhuixun/article/details/132656737