This post was updated 400 days ago and some of the ideas may be out of date

起因

不久前，有一位用户在Reddit上分享了以下几张照片：

Try and scan them! 😄

这些是使用 Stable Diffusion 和 ControlNet 创建的二维码。以二维码作为 ControlNet 的输入，使二维码数据点融入到艺术图片中，同时仍然可以被 QR 码阅读器扫描。

于是，我也开始了AI绘制二维码之旅。

参考文献

如果是Stable Diffusion的新手，建议阅读以下指南以开始使用：

https://aituts.com/stable-diffusion/

https://aituts.com/stable-diffusion-lora/

掌握这些教程以后，你的Stable Diffusion就可以正常工作了。

在这篇文章中，我将分享我如何尝试创建自己的精美二维码的过程。

基本要求

在我们开始创建二维码之前，您需要设置以下内容：

Install AUTOMATIC1111’s Web UI on your machine

Install the ControlNet extension for this UI

Download the Controlnet QR Pattern (QR Codes)（使用其他模型尚可）

Place these downloaded models in the stable-diffusion-webui/extensions/sd-webui-controlnet/models directory

他是如何实现的

什么是ControlNet

ControlNet 可让您控制Stable Diffusion输出的插件。它允许你操纵表情、姿势、构图等各种内容。在他未出来之前，Stable Diffusion所有的出图都是随机而不可控的，有了它以后，创作者可以结合Stable Diffusion发挥自己的创意做出符合自己预期的图片。

`❌ Unsupported block ($link_preview)`

模型的作用

模型允许您控制图片生成的亮度以及控制图片细节。

二维码是如何工作的

二维码是一种条形码，可以存储文本、URL 或其他数据等信息。他们的工作原理是将这些信息编码为黑白方块图案。二维码周围有一些空白，称为“安静区”。它充当缓冲空间或边缘，以确保二维码的准确扫描和解码。三个大方块，也称为“定位图案”，用于将代码识别为二维码并确定其位置和方向。对于较大的图案，二维码中可能存在一个或多个“对齐图案”。

二维码采用纠错技术，即使部分损坏或受阻，仍可读取。纠错算法可以恢复任何丢失或损坏的数据。高容错能力使二维码能够将代码处理成艺术并仍然使其正常工作。

开始生成

生成二维码

网上有许多二维码生成工具，使这项任务变得简单，你可以在以下网页生成二维码：

https://qrbtf.com/

https://qrcode.antfu.me/

antfu大佬的工具已经做成插件，可直接安装

文生图

与常规的 Text2Image 工作流程一样，我们需要为人工智能生成图像提供一些提示。以下是我使用的提示：

Prompts(示例，效果不太好)：

Negative Prompts：

由于我的电脑配置低，这里我选择生成600*600的图，建议有条件的大一点。

然后我们需要进入ControlNet部分，并上传我们之前生成的二维码图像。并按照模型主页中的建议配置参数。

然后你可以开始生成一些图像，看看它是否符合你的期望。您还需要检查生成的图像是否可扫描，如果不可扫描，您可以调节控制权重选项重复上述操作，以在风格化和 QRCode 相似性之间找到良好的平衡。

生成的一些结果

案例一

Prompt: 1girl, dress, pink hair, white dress, beautifly

Sampling method: DPM++ 2M Karras

Steps: 20

Model: primemix_v21

Results:

案例二

Prompt: a painting of a city with a river and buildings on the hillside and a sky background with clouds and snow on the ground and a blue sky, a detailed matte painting

Sampling method: DPM++ 2M Karras

Steps: 20

Model: primemix_v21

Results:

其他案例

由于忘记记录，这些生成缺少参数，一并放出来：

打开手机二维码扫描，扫描如上二维码，会抵达可乐君的小站🙉 ！

验证二维码

生成图像后，我们将使用二维码扫描仪来验证是否可扫描。如果你制作的是一个更具融合性的二维码，而且你可以接受二维码无法被所有二维码阅读器扫描，那么最好使用容错能力强的扫描仪来验证。我们建议使用 iOS 控制中心的扫码器或微信的扫码器来验证二维码。它们是我们目前发现的容错率最高的扫描仪。同时，如果你在手机上找不到好的扫描器，或者想直接在电脑上验证二维码，我们可以用安东尼的 QR 工具包new scanner in Anthony’s QR Toolkit进行扫描，它基于微信的开源算法WeChat’s open sourced algorithm。

测试结果通过验证，读取到正确信息！

引用

以下是资源清单，以便于参考。

概念

Stable Diffusion

ControlNet

工具

Hardwares & Softwares I am using.

AUTOMATIC1111/stable-diffusion-webui - Web UI for Stable Diffusion
- canisminor1990/sd-webui-kitchen-theme - Nice UI enhancement

Mikubill/sd-webui-controlnet - ControlNet extension for the webui

QR Code Generator Library - QR code generator that is ad-free and customisable

Adobe Photoshop - The tool I used to blend the QR code and the illustration

模型

Control Net Models for QR Code (you can pick one of them)
- QR Pattern Controlnet Model
- Controlnet QR Code Monster
- IoC Lab Control Net

Checkpoint Model (you can use any checkpoints you like)
- Ghostmix Checkpoint - A very high quality checkpoint I use. You can use any other checkpoints you like