一、前置条件
1.安装Stable Diffusion WebUI版;
2.安装ControlNet插件。文后附模型下载链接。
二、ControlNet中模型的区别
1. canny.pth
-
输入条件:Canny 边缘图
-
特点:通过边缘线条控制生成图像结构
-
场景:需要保留清晰轮廓但可以*上色时使用
2. mlsd.pth
-
输入条件:MLSD 检测出来的直线信息(线框)
-
特点:适用于建筑、工业设计等有清晰直线结构的场景
-
场景:透视感强烈、线条工整的图
3. depth.pth
-
输入条件:深度图
-
特点:模型根据物体深度关系生成合理的三维感画面
-
场景:需要控制画面空间感、前后关系
4. openpose.pth
-
输入条件:人体骨骼关键点图(OpenPose)
-
特点:控制人体姿态
-
场景:需要精确控制人体动作、舞蹈、姿势
5. scribble.pth
-
输入条件:简单手绘涂鸦
-
特点:根据涂鸦轮廓生成细节完整画面
-
场景:草图快速成画
6. seg.pth
-
输入条件:分割图(语义分割)
-
特点:按分割区域生成对应内容
-
场景:用不同区域标记物体或场景,模型按区域自动填充
7. normal.pth
-
输入条件:法向图
-
特点:按表面朝向与细节生成逼真的材质和结构
-
场景:3D 转 2D、渲染质感控制
8. lineart.pth / lineart_anime.pth
-
输入条件:线稿图
-
特点:适合动漫或黑白线条图着色
-
场景:漫画线稿转彩色
9. softedge.pth
-
输入条件:软边缘图
-
特点:比 canny 更柔和的边缘控制,细节自然过渡
-
场景:需要轮廓,但不需要太生硬
总结对比(简表)
模型 | 控制方式 | 应用场景 |
---|---|---|
canny.pth | 边缘图 | 轮廓清晰成画 |
mlsd.pth | 直线框架 | 建筑、工业设计 |
depth.pth | 深度图 | 空间感、立体感 |
openpose.pth | 姿态骨骼图 | 人体姿态动作生成 |
scribble.pth | 涂鸦草图 | 草稿成画 |
seg.pth | 分割图 | 根据区域生成场景或物体 |
normal.pth | 法向图 | 渲染质感、三维感 |
lineart.pth | 线稿图 | 动漫上色、漫画成画 |
softedge.pth | 柔和边缘图 | 边缘柔和自然 |
下载链接:ControlNet模型