Stable Diffusion是2022年发布的深度学习文本到图像生成模型。它主要用于根据文本的描述生成详细图像,它也可以应用于其他任务,如内补绘制、外补绘制,以及在提示词(英语)指导下产生图生图的翻译。详细介绍看维基百科词条Stable Diffusion。
去年刚出的时候搭建门槛很高,对Mac用户极度劝退。后来有大佬开源了stable-diffusion-webui,把搭建难度从地狱模式降到了新手模式,让更多Mac用户也能玩AI绘图了。
我用的32G内存M1 Max玩了几天,总结一下经验。搭建Stable Diffusion对机器配置要求还是挺高的,主要是内存和显卡,这两个决定了生成图片的数量、尺寸、效果。16G内存可以简单玩玩,生成图片稍大一点内存就会飙到20多G,交换内存(swap)用到10G左右,玩这个的时候基本上别的都干不了。m1的8核显存生成最基础的512×512图片,出图速度大约2-3分钟一张;512×768稍复杂一点的图片就奔着10分钟去了。网友分享的64核显卡的M1 Ultra生成最基础的512*512图片出图速度约10秒一张。图片尺寸越大生成时间越长。
所以我建议机器配置内存16G起步,8G也能玩但体验很坐牢。M1/M2最基础的显卡就能玩。因为要下载很多模型,硬盘剩余空间建议20G起步,可以安装到移动硬盘里。
下面将介绍如何在M1 Mac上部署Stable Diffusion WebUI,以及部署ControlNet实现骨骼绑定、临摹、填色等玩法。
项目地址:
Installation on Apple Silicon:stable-diffusion-webui
sd-webui-controlnet:sd-webui-controlnet
安装 stable-diffusion-webui
安装Homebrew
打开终端,输入:
/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"
安装Python
装完Homebrew后,重新打开终端,输入:
brew install cmake protobuf rust python@3.10 git wget
下载项目
终端进入你想存放的目录,输入:
# 我放在硬动硬盘里 cd /Volumes/MobileDisk # 下载 git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui
下载完成后去你目录里可以看到stable-diffusion-webui。
下载模型
首先了解一下模型存放路径。
基本模型比较大,每个都是几个G,放在 stable-diffusion-webui/models/Stable-diffusion
官方1.4和1.5模型,点击一个模型,然后点击 Files and versions 。寻找以.ckpt 或.safetensors为扩展名的文件,然后点击文件大小右边的向下箭头下载它们:
-
Stable DIffusion 1.4 (sd-v1-4.ckpt)
-
Stable Diffusion 1.5 (v1-5-pruned-emaonly.ckpt)
-
Stable Diffusion 1.5 Inpainting (sd-v1-5-inpainting.ckpt)
Stable Diffusion 2.0和2.1需要一个模型和一个配置文件,在生成图像时,图像宽度和高度需要设置为768或更高。
-
Stable Diffusion 2.0 (768-v-ema.ckpt)
-
Stable Diffusion 2.1 (v2-1_768-ema-pruned.ckpt)
lora模型通常只有一百兆左右,放在 stable-diffusion-webui/models/Lora
civitai.com有大量精美的模型和lora可以下载。现在还处于早期没有法律监管,新增的不少,删除的也不少,喜欢的就下载别犹豫。
Civitai.com有大量18+内容。请自行甄别
运行项目
# 进到stable-diffusion-webui目录 cd /Volumes/MobileDisk/stable-diffusion-webui # 运行 ./webui.sh
当看到 Running on local URL: http://127.0.0.1:7860 时就可以打开http://127.0.0.1:7860 愉快的玩耍了。
关闭按两次 Control + C 或关掉终端窗口。
用法
把下图标注的地方填上调好,点Generate生成图片。
最简单的方式是去civitai.com点开一张别人的图片,复制右边的参数自己生成一遍试试效果,注意图片是基于哪个模型。先模仿别人的写法,再修改一些地方看看效果,然后试着生成自己构思的图片。

参数解释
-
Stable Diffusion checkpoint:基本模型,同一套参数用不同模型生成的效果差距非常大。切换的时候会加载,注意等加载完成。 -
Prompt:描述内容,即你想要的效果,用,分隔,不能用中文。(full body:1.6)表示full body占更高的权重。 -
-
-
-
-
-
-
-














文章来源于互联网:Mac 部署Stable Diffusion WebUI和ControlNet的保姆级教程(附安装包)
5bei.cn大模型教程网










