Stable Diffusion绘画插件(ControlNet )

时间:2025-03-27 09:01:13

一、前置条件

1.安装Stable Diffusion WebUI版;

2.安装ControlNet插件。文后附模型下载链接。

二、ControlNet中模型的区别

1. canny.pth

  • 输入条件:Canny 边缘图

  • 特点:通过边缘线条控制生成图像结构

  • 场景:需要保留清晰轮廓但可以*上色时使用


2. mlsd.pth

  • 输入条件:MLSD 检测出来的直线信息(线框)

  • 特点:适用于建筑、工业设计等有清晰直线结构的场景

  • 场景:透视感强烈、线条工整的图


3. depth.pth

  • 输入条件:深度图

  • 特点:模型根据物体深度关系生成合理的三维感画面

  • 场景:需要控制画面空间感、前后关系


4. openpose.pth

  • 输入条件:人体骨骼关键点图(OpenPose)

  • 特点:控制人体姿态

  • 场景:需要精确控制人体动作、舞蹈、姿势


5. scribble.pth

  • 输入条件:简单手绘涂鸦

  • 特点:根据涂鸦轮廓生成细节完整画面

  • 场景:草图快速成画


6. seg.pth

  • 输入条件:分割图(语义分割)

  • 特点:按分割区域生成对应内容

  • 场景:用不同区域标记物体或场景,模型按区域自动填充


7. normal.pth

  • 输入条件:法向图

  • 特点:按表面朝向与细节生成逼真的材质和结构

  • 场景:3D 转 2D、渲染质感控制


8. lineart.pth / lineart_anime.pth

  • 输入条件:线稿图

  • 特点:适合动漫或黑白线条图着色

  • 场景:漫画线稿转彩色


9. softedge.pth

  • 输入条件:软边缘图

  • 特点:比 canny 更柔和的边缘控制,细节自然过渡

  • 场景:需要轮廓,但不需要太生硬


总结对比(简表)

模型 控制方式 应用场景
canny.pth 边缘图 轮廓清晰成画
mlsd.pth 直线框架 建筑、工业设计
depth.pth 深度图 空间感、立体感
openpose.pth 姿态骨骼图 人体姿态动作生成
scribble.pth 涂鸦草图 草稿成画
seg.pth 分割图 根据区域生成场景或物体
normal.pth 法向图 渲染质感、三维感
lineart.pth 线稿图 动漫上色、漫画成画
softedge.pth 柔和边缘图 边缘柔和自然

下载链接:ControlNet模型