Stable Diffusion 进阶指南-2
输入“/”快速插入内容
Stable Diffusion 进阶指南-2
Stable Diffusion 进阶指南-2
2024年8月20日修改
作者：德里克文
这一篇文章我来讲解下如何使用ControlNet插件，这是如果需要进阶掌握Stable Diffusion这个软件，必须要学会的一个插件，直接影响出图可控性。关于之前进阶指南的介绍请点击这个链接依次查看：
一、ControlNet是什么
1.ControlNet的意义
Stable Diffusion采用的是扩散模型的算法，以呈现出独特且富有趣味性的效果。然而，这种方法在生成图片的可控性方面存在问题。简而言之就是不可控，类似于游戏抽卡一样，你无法控制最终生成的是什么东西，有可能是一副精品，也有可能是各种稀奇古怪的东西，这个对于需要稳定控制的商业化应用是致命的缺陷。
然而，随着ControlNet技术的出现，这个问题得到了极大的改善。ControlNet是一个工具，它通过添加额外的控制条件来指导Stable Diffusion生成图像，从而提高了AI图像生成的可控性和准确性。
ControlNet的作者是中国人张吕敏，他于2021年本科毕业并目前在斯坦福大学攻读博士学位，有趣的是，他本科专业是医学，在苏州大学就读后转向编程。然而，他自大一开始就一直在发表与人工智能相关的论文。自2017年以来，他一直专注于AI填色领域，并开发了当时全球最热门的一款AI填色程序。在2023年，他提出了一个新的神经网络概念，叫做ControlNet。ControlNet通过额外的输入来控制预训练的大型模型。
这种方法实际上是一种端对端的训练方式，在2017年就有类似的AI模型出现过，但是ControlNet通过引入高质量的大型模型，比如应用在Stable Diffusion上，为这种端对端训练提供了更好的应用空间。它有效解决了文生图大型模型的一个关键问题：传统的关键词控制方式无法满足对细节精确控制的需求。
2.ControlNet的用处
ControlNet能帮助我们更好地控制AI绘画的生成过程，让这个工具更符合我们的实际工作需求。由于有了Controlnet，AI绘画不再仅仅是供人娱乐的小玩具，而是逐渐发展成为一种实用工具，可以真正帮助我们提高工作效率。虽然Controlnet的可控性还有提升的空间，但与之前的技术相比，已经取得了质的飞跃。
ControlNet插件的本质是利用图像作为输入信息的方式，以弥补语言在某些情况下的局限性。相对于语言，图像更直观、简洁、易于理解，能更准确地传达信息。因此，ControlNet利用图像作为输入方式可以更好地帮助AI理解我们的需求，并生成我们所需要的图片。