5bei.cn大模型教程网Stable Diffusion Version 2
论文
DENOISING DIFFUSION IMPLICIT MODELS
模型结构
通过串联或更通用的交叉注意机制来调节LDM
算法原理
通过将图像形成过程分解为去噪自动编码器的顺序应用，扩散模型（DM）在图像数据和其他数据上实现了最先进的合成结果。为了在有限的计算资源上进行DM训练，同时保持其质量和灵活性，我们将其应用于强大的预训练自动编码器的潜在空间。在这种表示上训练扩散模型首次能够在降低复杂性和空间下采样之间达到接近最佳的点，提高了视觉逼真度。通过在模型架构中引入跨注意力层，将扩散模型变成了强大而灵活的生成器，用于文本或边界框等一般条件输入，高分辨率合成以卷积方式成为可能。我们的潜在扩散模型（LDM）在各种任务上实现了极具竞争力的性能，包括无条件图像生成、修复和超分辨率，同时与基于像素的DM相比，显著降低了计算要求。
环境配置
Docker（方法一）：
docker pull image.sourcefind.cn:5000/dcu/admin/base/custom:stablediffusion_v2-1_dtk24.04_xformers0.0.25_py310
docker run --shm-size 10g --network=host --name=stablediffusion_v2-1 --privileged --device=/dev/kfd --device=/dev/dri --group-add video --cap-add=SYS_PTRACE --security-opt seccomp=unconfined -it image.sourcefind.cn:5000/dcu/admin/base/custom:stablediffusion_v2-1_dtk24.04_xformers0.0.25_py310 bash
Dockerfile（方法二）：
cd docker
docker build --no-cache -t stablediffusion:test .
docker run --shm-size 10g --network=host --name=stablediffusion_v2-1 --privileged --device=/dev/kfd --device=/dev/dri --group-add video --cap-add=SYS_PTRACE --security-opt seccomp=unconfined -it stablediffusion:test bash
数据集
无
推理
1、下载Stable Diffusion v2.1模型
cd /stablediffusion-main
## 下载 SD v2.1 model
git lfs install
git clone https://huggingface.co/stabilityai/stable-diffusion-2-1-base
2、运行：
运行txt2img.py示例：
cd /stablediffusion-main
python scripts/txt2img.py --device cuda --prompt "a photograph of an astronaut riding a horse" --ckpt ./stable-diffusion-2-1-base/v2-1_512-ema-pruned.ckpt --config configs/stable-diffusion/v2-inference.yaml --n_iter 1 --n_samples 1
运行diffusers示例：
python test_diffusers.py
result
精度
无
应用场景
算法类别
以文生图
热点应用行业
绘画,动漫,媒体
源码仓库及问题反馈
ModelZoo / stablediffusion_v2.1_pytorch · GitLab
参考资料
GitHub – Stability-AI/stablediffusion: High-Resolution Image Synthesis with Latent Diffusion Models
文章来源于互联网:stable diffusion-v2.1-pytorch以文生图推理模型
🌈个人主页: 鑫宝Code🔥热门专栏: 闲话杂谈｜ 炫酷HTML | JavaScript基础 💫个人格言: “如无必要，勿增实体” AI作画算法原理解析 在艺术与科技的交汇点上，人工智能（AI）作画算法如同一股不可阻挡的潮流，正逐渐改变我们对创造性艺术的理…
