AI大模型教程
一起来学习

Stable Diffusion入门使用技巧及个人试用实例分享--SD提示词及ControlNet篇

上节我们简单介绍了一下StableDiffusion的基础模型及lora,今天我们接着讲解一下SD提示词的实践篇及ControlNet常用模型篇,本文总字数3000+,同时包含大量的图片及提示词分享。欢迎阅读。

SD如何写提示词

提示词库分享在文末!免费领取
下面是我多方整理以及自己常用的一些标准提示词,在我的案例中,大家也基本能看出来,我经常用这些提示词。
我按标准提示词、内容提示词、画幅构图视角、提示词的权重分配、正向提示词示例、反向提示词给大家都举了一些例子,欢迎尝试。

一、标准提示词

提示词库分享在文末!免费领取

通用高画质:

masterpiece:杰作

nsanely detailed,ultra-detailed,highly detailed:疯狂的细节,超精细的细节绘制

best quality:高质量

特定高分辨率类型:

HD Quality:高清

8k:8k高清

sharp
focus:焦点清晰

unreal engine
rendered:虚幻渲染

画家风格:

19世纪肖像画家:John Collier

偏写实和现代风格:Stanley Artgerm Lau

擅长女性肖像,偏印象派:John Singer Sargent

擅长画平面肖像:Alphonse Mucha

画风:

插画风:illustration,painting,paintbrush

二次元:anime,comic,game
CG

写实系:photorealistic,realistic,photograph,Ultra realistic illustration

肖像画风:Portrait 用于生成脸部或者头像

数字艺术风格:Digital painting

2D插图风格:Concept art

Ultra realistic illustration

风格:

印象派:hyperrealistic

超现实主义:fantasy

波普艺术:surrealist

二、内容提示词:

人物及主体特征:

精致的脸,清晰的脸:exquisite face,clear face

服饰搭配:white dress

发型发色:blonde hair,long hair

五官特点:small eyes, big mouth

面部表情:smiling

肢体动作:stretching arms

人物皮肤:(high detailed skin:1.2)

场景特征:

室内/室外:indoor/outdoor

大场景:forest,city,street

小细节:tree,bush, white flower

环境光照:

白天黑夜:day/night

特定时段:morning,sunset

光环境:sunlight,bright,dark

天空:blue sky, starry sky

三、画幅构图视角:

十种基础构图关键词:

对称构图:Symmetrical composition

对角线构图:diagonal composition

水平线构图:horizontal composition

散点构图:Scattered composition

遮挡构图:blocking composition

线条构图:Line composition

仰拍构图:upside-down composition

俯拍构图:perspective composition

对比构图:Contrast composition

架构式构图:frame composition

距离:close-up,distant

其他一些常用的提示词:

人物比例:full body,upper body

观察视角:from above, view of back

aerial view/aerial photography/overhead shot—鸟瞰,做一些宏达的场景俯视图

镜头类型:wide angle,sony v7

适合景色的一些构图:

massive scale宏伟场景构图

Epic level composition史诗级构图

street level view路人视角

lush vegetation茂盛的植被

idyllic田园般的

Matte painting当总是远景,希望有近景,景深一点

blurry background背景虚化

四、提示词的权重分配

提示词库分享在文末!免费领取

括号+数字:

(red flower:1.5):调节red flower出现的权重是原来的1.5倍,加强。

(red flower:0.5):调节red flower出现的权重是原来的0.5倍,减弱。

套括号:

((red flower)):每套一层,权重_1.1倍,此处表示调节red flower出现的权重是原来的1.1_1.1倍,加强。

{{red flower}}:每套一层,权重_1.05倍,此处表示调节red flower出现的权重是原来的1.05_1.05倍,加强。

[[red flower]]:每套一层,权重_0.9倍,此处表示调节red flower出现的权重是原来的0.9_0.9倍,加强。

五、正向提示词示例:

((masterpiece)),((nsanely detailed)), ((intricate)),((exquisite
face))illustration,a beautiful young girl ,full body,standing,white
dress,perfect lighting

常用模板:画质标准+风格+人物特征要求+光线

六、反向提示词:

一般写你不希望画面中出现的内容。

watermark 水印

Low/worst quality 低质量

Logo 标识文字

NSFW 不需要的属性

个人常用的反向提示词1:

NSFW,lowrs,blurry,(deformed, distorted, disfigured:1.3), (stacked torsos:1.2),
(totem pole:1.1), poorly drawn, bad anatomy, wrong anatomy, missing arms,
missing legs, extra arms, extra legs, fused fingers, too many fingers, long
neck,extra limb, missing limb, floating limbs, (mutated hands and
fingers:1.4), disconnected limbs, mutation, mutated, ugly, disgusting, blurry,
amputation, (extra fingers:1.2), (worst quality, low quality:1.3)out of frame,
worst quality, low quality, jpeg artifacts, ugly, duplicate, morbid,
mutilated, mutation, deformed, blurry, dehydrated, bad proportions, extra
limbs, cloned face, disfigured, gross proportions, malformed limbs

个人常用的反向提示词2:

NSFW,out of frame, worst quality, low quality, jpeg artifacts, ugly,
duplicate, morbid, mutilated, extra fingers, mutated hands, poorly drawn
hands, poorly drawn face, mutation, deformed, blurry, dehydrated, bad anatomy,
bad proportions, extra limbs, cloned face, disfigured, gross proportions,
malformed limbs, missing arms, missing legs, extra arms, extra legs, fused
fingers, too many fingers, long neck

没有人物时常用的反向提示词:

NSFW,out of frame, worst quality, low quality

七、案例:

下面再给大家看个实际的例子吧.

1、不加任何画质、风格的提示词。

大模型选择:sd1.5基础大模型

提示词:a beautiful young girl,white dress

可以看出来脸部、手部、画风都比较一般。

下面我加上对画质的要求(比如:masterpiece、exquisite
face)、风格(比如:photorealistic)的要求、还有镜头距离的要求(比如:close up)、反向提示词看看效果:

提示词:((masterpiece)),((exquisite face)),((best quality)),((photorealistic)),a
beautiful young girl,white dress,close up, Appropriate lighting

反向:NSFW,out of frame, worst quality, low quality, jpeg artifacts, ugly,
duplicate, morbid, mutilated, extra fingers, mutated hands, poorly drawn
hands, poorly drawn face, mutation, deformed, blurry, dehydrated, bad anatomy,
bad proportions, extra limbs, cloned face, disfigured, gross proportions,
malformed limbs, missing arms, missing legs, extra arms, extra legs, fused
fingers, too many fingers, long neck

生成图片如下:(可以看出来,脸部算比较清晰精致了,然后也理解了真实的摄影风格,然后近景)

CONTROLNET简介

ControlNet是斯坦福大学研究人员开发的Stable
Diffusion的扩展,使创作者能够轻松地控制AI图像和视频中的对象。它将根据边缘检测、草图处理或人体姿势等各种条件来控制图像生成。ControlNet可以概括为一种简单的稳定扩散微调方法。下面我给大家简单介绍一下ControlNet如何使用,下图是ControlNet的webui的页面,我着重讲一下标识出来的4个模块:

1、在ControlNet Image:

常用几个选项:

  • Enable :选中此框以启用ControlNet。(需要使用controlnet时这个启用一定要勾选,还有电脑显存较小时勾选上,其他选项我平时用的不多)
  • Low VRAM(低显存模式):这将减缓ETA进程,但有助于使用更少的计算空间(显存小于6 GB VRAM建议使用)
  • Pixel Perfect(像素完美):勾选后会更清晰,画面色调会更基于原图

  • Allow preview:预览模式,勾选后,右侧可以预览不同模型的预览效果。

2、文生图+ControlNet 模型:

这里还是基于上面那个SD案例中的白裙小女孩,我们先加上controlnet看看效果吧。后续第三节再细节每个controlnet模型的使用场景哈。

提示词保持不变:((masterpiece)),((exquisite face)),((best
quality)),((photorealistic)),a beautiful young girl,white dress,close up,
Appropriate lighting

加上ControlNet-candy的效果:

生成图片效果如下:(白裙、精致的脸庞、candy姿势基本都保持了,👍)

3、control model模型:

(此图来源于网络,供大家简单理解)

以下原图是自己拍摄的一张图片,后续尽量都会基于这张图片试验controlnet的各种图生图的效果。

canny-一线稿

Canny通过使用边缘检测器创建高对比度区域的轮廓来检测输入图像。线条可以捕捉到非常详细的信息,但如果你的图像背景中有一些物体,它很可能会检测到不需要的物体。所以背景中物体越少效果越好。

使用场景:希望保留参考图的形状,轮廓会和原图比较接近

提示词:((masterpiece)),((nsanely detailed)), ((HD Quality)),((best
quality))((Illustration style)), the back of a girl, the background is the
scenery near Oriental Pearl TV Tower in Shanghai

我重绘幅度调的0.75,建筑已经比较接近原图了,用图生图的功能时,重绘幅度越大,AI发挥空间越大。一般0.6-0.75左右会比较接近原图。但是人物衣服的颜色也差距较大。

Scribble

涂鸦的目的是从简单的黑白线条画和草图生成图像。用户也可以使用“Canvas”选项创建特定大小的空白画布,用于手动素描(也可以直接上传图像)。如果草图和绘图由白色背景上的黑线组成,则需要选中“Invert
Input Color”复选框。

上图能看出来哪个是人工涂色,哪个是AI涂色么?

depth-深度图(重绘幅度0.75)

这个预处理器有助于生成输入图像的深度估计。深度通常用于控制图像内物体的空间定位。浅色区域意味着它离用户更近,而深色区域则离用户更远。

在大图像时它可能会丢失图像内部的细节(面部表情等)。一般会与control_sd15_depth模型组合使用。Midas
Resolution函数用于增加或减少detectmap中的大小和细节级别。它的级别越高,将使用更多的VRAM,但可以生成更高质量的图像,反之亦然。

说明:保留参考图的空间关系,缺少细节。

包包、衣服的细节变化比较大。

这张图可能效果不太明显,我换一张图,下面是预览效果:(使用depth-midas)

生成效果如下:(可以看出来深度保留的很好,但是有些细节比如中间那个路的细节丢失了)

depth leres-深度图

Depth Leres有与Depth 相同的基本概念,但在地图中包含更广泛的范围。但有时它会从图片中捕获了太多信息,可能会生成与原始图像略有不同的图像。

生成对比图如下:(可以看到高楼细节变化还是很大的,但是图片深度的空间定位保留的很好)

这2种差不多,可以根据不同的图试用两种预处理器,然后决定用哪一种更好。

normal map一法线图(normal-midas)

法线图使用了三种主要颜色(红、绿、蓝),通过不同的角度来精确定位物体的粗糙度和光滑程度。它生成法线图的基本估计,可以保留相当多的细节,但可能会产生意想不到的结果,因为法线图完全来自图像,而不是在3D建模软件中构建的。

法线图有利于突出复杂的细节和轮廓,并且在定位对象方面也很有效,特别是在接近度和距离方面。“Normal Background
Threshold”用于调整背景成分。设置一个更高的阈值可以移除背景的远处部分(将其混合成紫色)。降低阈值将命令AI保留甚至显示额外的背景元素。

背影图生成效果如下:(变化比较大)

可能这个controlnet用这张图片不合适,我换一个建筑图试一下。

预览效果:(可以看到丢失了一些轮廓)

生成效果如下:(背影居然增加了海滩的部分,然后主楼也变了)

openpose-动作姿态图

控制生成人物的动态;这个预处理器生成了一个基本的骨骼火柴人形象。这种技术被广泛采用,因为多个 OpenPose
骨架可以组合成一个图像,这有助于引导稳定扩散生成多个一致的主题。

示例效果:

openpose hand

动作姿态和手部图一控制生成人物的动态和手;

segmentation一语义分割

分割预处理器检测并将上传的图像分割为同一图像内的段或区域。该模型在生成一组新的图像时,将detectmap图像应用于文本提示。

用不同色块生成对应的物体,背影图效果如下:

我再用上面的建筑图试一下:

预览效果:

生成图片:(可以看出来色泽是保留的最好的)

最后再看一组玩偶我用controlnet生成的效果:

4、control mode:

用于设置是提示词和controlnet那个比重更高,比如你只希望大概参考controlnet的一些形状,希望出现更多你提示词里面的内容,则可以选择my
prompt is more important,一般可以选择balance。

5、Resize Mode:

提供了调整ControlNet大小和上传图像的纵横比。

  • Just Resize拉伸:不保留纵横比的情况下,改变ControlNet图像的大小以匹配Txt2Img设置的宽度和高度。这包括拉伸或压缩图像以适应指定的尺寸。

比如我生成的图片设置的512*512,但是因为我原图是竖版的图片,所以它会自动将原图拉伸后进行匹配再生成。

示例效果:(不推荐使用)

  • Crop and resize(裁剪并调整大小):调整ControlNet图像的大小以适应Txt2Image的尺寸。它将调整图像的大小,直到它能够适应Txt2Image设置的宽度和高度。比例不会变。

  • Resize and Fill(调整大小并填充):调整Txt2Image的大小以适应ControlNet图像的尺寸。它将调整图像的大小,直到Txt2Image设置可以适合ControlNet图像。

这种不会改变原图比例,且对自动补全左侧原图没有的部分,推荐使用!

示例效果:

恭喜你,已经阅读结束,希望本篇文章对您有帮助。

后续有空还会继续更新stable
diffussion的使用技巧,下节会讲如何生成脸部尽量一致的人物,如何控制人物的动作,欢迎关注或者点赞哦,再次感谢您的阅读。

但由于AIGC刚刚爆火,网上相关内容的文章博客五花八门、良莠不齐。要么杂乱、零散、碎片化,看着看着就衔接不上了,要么内容质量太浅,学不到干货。

这里分享给大家一份Adobe大神整理的《AIGC全家桶学习笔记》,相信大家会对AIGC有着更深入、更系统的理解。

有需要的朋友,可以长按下方二维码,免费领取!

AIGC所有方向的学习路线思维导图

这里为大家提供了总的路线图。它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。如果下面这个学习路线能帮助大家将AI利用到自身工作上去,那么我的使命也就完成了:

AIGC工具库

AIGC工具库是一个利用人工智能技术来生成应用程序的代码和内容的工具集合,通过使用AIGC工具库,能更加快速,准确的辅助我们学习AIGC

有需要的朋友,可以点击下方卡片免费领取!

精品AIGC学习书籍手册

书籍阅读永不过时,阅读AIGC经典书籍可以帮助读者提高技术水平,开拓视野,掌握核心技术,提高解决问题的能力,同时也可以借鉴他人的经验,结合自身案例融会贯通。

AI绘画视频合集

我们在学习的时候,往往书籍源码难以理解,阅读困难,这时候视频教程教程是就很适合了,生动形象加上案例实战,科学有趣才能更方便的学习下去。

有需要的朋友,可以长按下方二维码,免费领取!

文章来源于互联网:Stable Diffusion入门使用技巧及个人试用实例分享–SD提示词及ControlNet篇

赞(0)
未经允许不得转载:5bei.cn大模型教程网 » Stable Diffusion入门使用技巧及个人试用实例分享--SD提示词及ControlNet篇

Stable Diffusion入门使用技巧及个人实例分享--大模型及lora篇

大家好,近期使用Stable Diffusion比较多,积累整理了一些内容,得空分享给大家。如果你近期正好在关注AI绘画领域,可以看看哦。
本文比较适合已经解决了安装问题,(没有安装的在文末领取)
在寻找合适的大模型及lora,或者想找一些绘画案例给自己的创作带来一些灵感的人。文章总共2000多字,且涉及大量图片,谨慎观看哈。下面正式开始。

Stable Diffusion简介

Stable Diffusion 是由CompVisStability
AI
LAION 共同开发的一个文本转图像模型,它通过
LAION-5B
子集大量的
512×512 图文模型进行训练,我们只要简单的输入一段文本,Stable Diffusion
就可以迅速将其转换为图像,同样我们也可以置入图片或视频,配合文本对其进行处理。

通俗的解释:

StableDiffusion是一种基于扩散过程的图像生成模型,可以生成高质量、高分辨率的图像。它通过模拟扩散过程,将噪声图像逐渐转化为目标图像。这种模型具有较强的稳定性和可控性,可以生成具有多样化效果和良好视觉效果的图像。

基础大模型推荐

模型网址推荐:(文末领取)

C站:有预览图、提示词,非常适合新手,可以通过查找自己喜欢的图片来选择合适的模型。

最全的模型库:(文末领取)

下面推荐几个我在C站挖掘的目前最常用的几个模型:

1、好看人物插画风:

说明:

优点:画人物特别好看

建议搭配参数: 采样器:DPM++ 2M Karras 步数20

绘画示例:

1、人物角色设计:

提示词示例:((masterpiece)),((nsanely detailed)), ((intricate)),((high quality)) a
little girl character, pop-art illustration style, simple,cute, 5 years old
girl, full color, blue dress, blue shoes, long brown hair, blue hat, no
outline, 3d

基于这个人物尝试制作一个4格漫画:

2、生成类似的背景+不同的人物:

提示词示例:((masterpiece)),((nsanely detailed)), ((HD Quality)),((exquisite face))
background: The background is a construction site, with skyscrapers under
construction, feeling in 1990s shenzhen. character:There is only one 20-year-
old smile asian female agent,must appear item:balloon

关于这个模型的一个小技巧:

这个模型其他都好,就是你们看我上面生成的图片人物都很精致很好看,但是就是颜色一直是灰蒙蒙的效果。多方查阅之后,找到一个方法,需要下载一个VAE,然后在设置里面勾选上即可:

如何使用:

下面是对比效果:

((masterpiece)),((best quality))The style of a natural painter includes
storybook illustrations, detailed plant illustrations, andlively tableaus. The
kawaii girl sitting on a half cut watermelon.

设置VAE前:

设置VAE后:

2、二次元

这个是其他地方收集的这个模型的一些使用咒语,可以参考:

暂时无法在飞书文档外展示此内容

绘画示例:

1、角色设计:

((masterpiece)),((nsanely detailed)), ((intricate)),((high quality)) a little
girl character, pop-art illustration style, simple,cute, 5 years old stading
girl, full color, red dress, red shoes, long brown hair, red hat, no outline,
3d

2、生成故事插画:

((masterpiece)),((nsanely detailed)), ((intricate)),Best quality,anime,Draw a little girl [Zhang Ziyi | Lin Chiling] walking in the park, wearing a beautiful red dress, she showed a surprised expression,suddenly only a cute white kitten in the grass.

((masterpiece)),((nsanely detailed)), ((intricate)),((high quality)) 5 years
old standing girl, simple,cute, full color, brown hair, yellow dress, black
shoes.She stands in a magical garden surrounded by colored flowers . Her big
eyes were full of curiosity and surprise.

3、超真实风格

使用较多,默认真实风格,且搭配很多lora效果都不错

建议搭配参数:DPM++ SDE Karras+step20

绘画示例:

1、生成类似的背景+不同的人物:

绘画提示词:((masterpiece)),((nsanely detailed)), ((HD Quality)),((exquisite face))
background: The background is a construction site, ((skyscrapers under
construction)), feeling in 1990s shenzhen china. character:There is only one
asian female agent,clear face,20-year-old,smile,must appear item:(an ice cream
cone)

同样的提示词,加上lora之后,表情质感确实更好一点点

4、动画

优点:搭配泡泡玛特lora效果非常棒

建议搭配参数:采样器:Euler a+step 28

绘画示例:

提示词:(masterpiece),(best quality),(ultra-detailed), (full body:1.2), wide
angle,1girl,cute, smile, open mouth, flower, outdoors, running on the grass,
blurry, brown hair, blush stickers, long sleeves, bangs, black hair, pink
flower, (beautiful detailed face), (beautiful detailed eyes),music, beret,
blush, short hair, surrounded by balloons, blue sky and white clouds,
lora:blindbox_v1_mix:1

5、悬疑风/风景/插画

这个模型一开始是想用来做悬疑小说的封面的,后来发现画简笔画、插画居然也都还行!

建议搭配参数:采样器DPM++ 2M Karras +step 20

绘画示例:

1、玄幻风、悬疑风的小说封面、插图:

提示词:gray sky,white
clouds,fantasstyle,fantasy,mountains,castle,canyons,fantasy,magic,4k.

提示词:

Grand and spectacular scene, big background, small characters, a misty back,
fantasy world of cultivating immortals, swords, flowing clothes,4k

2、简笔头像:

(races of monotony Line drawing),(flat illustration),minimalism,headshot, line
art.

A cute cartoon girl with short hair,stick figure,headshot,bold line
illustration,((in the style of Black line drawn drawing)),((traces of monotony
line drawing)), clean blue background

3、插画

((masterpiece)),((nsanely detailed)), ((HD Quality)),((best quality))kawaii
girl sitting on a watermelon, in the style of nature painter, ai yazawa,
xiaofei yue, storybook illustrations, detailed botanical illustrations, lively
tableaus

There is a watermelon on the poster, giving people a refreshing and cool
feeling. Watermelon can be cut into pieces to showcase its juicy red interior,
surrounded by white water droplets. The background can be light blue to
enhance a cool and refreshing atmosphere

6、国风

建议搭配参数:采样器Euler a+step30

示例:

1、使用官方的这个提示词直出效果如下:

best quality, masterpiece, highres, 1girl,blush,(seductive smile:0.8),star-
shaped pupils,china hanfu,hair ornament,necklace, jewelry,Beautiful
face,upon_body, tyndall effect,photorealistic, dark studio, rim lighting, two
tone lighting,(high detailed skin:1.2), 8k uhd, dslr, soft lighting, high
quality, volumetric lighting, candid, Photograph, high resolution, 4k, 8k,
Bokeh

2、用lora里面的那个示例的人物的效果:

((masterpiece)),((nsanely detailed)), ((HD Quality)),((best quality))A young
lovely girl, upper body shot, clear face,dressed in a beautiful traditional
Hanfu. Her hair is neatly coiled into a bun, adorned with bobby pins and an
elaborate tiara.

LORA简介及推荐

LoRA模型全称是:Low-Rank Adaptation of Large Language Models,通俗的可以理解为Stable-
Diffusion中的一个插件,仅需要少量的数据就可以进行训练的一种模型。在生成图片时,LoRA模型会与大模型结合使用,从而实现对输出图片结果的调整。下面是我已经试验体验过的一些lora:(最后会有一组不同lora的使用效果对比)

1、适合插画/二次元adventures:

civitai.com/models/1479…

试用总结:配合deliberate不错

2、表情lora

crazy-expressions:二次元

[civitai.com/models/5891…](https://link.juejin.cn/?target=https%3A%2F%2Fcivitai.com%2Fmodels%2F5891%2Fcrazy-
expressions “https://civitai.com/models/5891/crazy-expressions”)

试用总结:配合deliberate不错,出现正脸概率较大

3、墨心:

civitai.com/models/1259…

试用总结:配合deliberate不错

4、小人书·连环画 xiaorenshu

civitai.com/models/1832…

试用总结:配合deliberate不错

5、二次元漫画风

[LoCon/LoRA] Airconditioner/空调 Style

civitai.com/models/2260…

6、城市景色:

civitai.com/models/1491…

7、线条:

civitai.com/models/1993…

8、科幻:

civitai.com/models/3048…

试用总结:人物也可以加这个lora,配合deliberate不错

9、室内设计:

civitai.com/models/2811…

10、亚洲男生:(适合用sd1.5基础大模型)

civitai.com/models/1322…

11、角色设计多角度:

适合设计角色charTurnbeta:

[civitai.com/models/7252…](https://link.juejin.cn/?target=https%3A%2F%2Fcivitai.com%2Fmodels%2F7252%2Fcharturnerbeta-
lora-experimental “https://civitai.com/models/7252/charturnerbeta-lora-
experimental”)

示例:

为了对比效果,我先用基础大模型deliberate生成一个人物角色,然后搭配不同的lora看效果。

((masterpiece)),((nsanely detailed)), ((HD Quality)),((best quality))

A young lovely girl, full body shot, clear face,dressed in a beautiful
traditional Hanfu. Her hair is neatly coiled into a bun, adorned with bobby
pins and an elaborate tiara.

搭配不同的lora效果图参考如下:

欢迎看到最后,如果觉得还不错,欢迎点赞收藏哈。后续有空会继续发controlnet的使用技巧、提示词的使用技巧等系列文章,适合初学者观看哈!

针对各位AIGC初学者,这里列举了一条完整的学习计划,感兴趣的可以阅读看看,希望对你的学习之路有所帮助,废话不多说,进入正题:

目标应该是这样的:

第一阶段(30天):AI-GPT从入门到深度应用

该阶段首先通过介绍AI-GPT从入门到深度应用目录结构让大家对GPT有一个简单的认识,同时知道为什么要学习GPT使用方法。然后我们会正式学习GPT深度玩法应用场景。

———–

  • GPT的定义与概述
  • GPT与其他AI对比区别
  • GPT超强记忆力体验
  • 万能GPT如何帮你解决一切问题?
  • GPT表达方式优化
  • GPT多类复杂应用场景解读
  • 3步刨根问底获取终极方案
  • 4步提高技巧-GPT高情商沟通
  • GPT深度玩法应用场景
  • GPT高级角色扮演-教学老师
  • GPT高级角色扮演-育儿专家
  • GPT高级角色扮演-职业顾问
  • GPT高级角色扮演-专业私人健身教练
  • GPT高级角色扮演-心理健康顾问
  • GPT高级角色扮演-程序UX/UI界面开发顾问
  • GPT高级角色扮演-产品经理
  • GPT高级技巧-游戏IP角色扮演
  • GPT高级技巧-文本冒险游戏引导
  • GPT实操练习-销售行业
  • GPT实操练习-菜谱推荐
  • GPT实操练习-美容护肤
  • GPT实操练习-知识问答
  • GPT实操练习-语言学习
  • GPT实操练习-科学减脂
  • GPT实操练习-情感咨询
  • GPT实操练习-私人医生
  • GPT实操练习-语言翻译
  • GPT实操练习-作业辅导
  • GPT实操练习-聊天陪伴
  • GPT实操练习-育儿建议
  • GPT实操练习-资产配置
  • GPT实操练习-教学课程编排
  • GPT实操练习-活动策划
  • GPT实操练习-法律顾问
  • GPT实操练习-旅游指南
  • GPT实操练习-编辑剧本
  • GPT实操练习-面试招聘
  • GPT实操练习-宠物护理和训练
  • GPT实操练习-吸睛爆款标题生成
  • GPT实操练习-自媒体爆款软件拆解
  • GPT实操练习-自媒体文章创作
  • GPT实操练习-高效写作推广方案
  • GPT实操练习-星座分析
  • GPT实操练习-原创音乐创作
  • GPT实操练习-起名/解梦/写诗/写情书/写小说
  • GPT提升工作效率-Word关键字词提取
  • GPT提升工作效率-Word翻译实现
  • GPT提升工作效率-Word自动填写、排版
  • GPT提升工作效率-Word自动纠错、建议
  • GPT提升工作效率-Word批量生产优质文章
  • GPT提升工作效率-Excel自动化实现数据计算、分析
  • GPT提升工作效率-Excel快速生成、拆分及合并实战
  • GPT提升工作效率-Excel生成复杂任务实战
  • GPT提升工作效率-Excel用Chat Excel让效率起飞
  • GPT提升工作效率–PPT文档内容读取实现
  • GPT提升工作效率–PPT快速批量调整PPT文档
  • GPT提升工作效率-文件批量创建、复制、移动等高效操作
  • GPT提升工作效率-文件遍历、搜索等高效操作
  • GPT提升工作效率-邮件自动发送
  • GPT提升工作效率-邮件自动回复
  • GPT接入QQ与QQ群实战
  • GPT接入微信与微信群实战
  • GPT接入QQ与VX多用户访问实战
  • GPT接入工具与脚本部署实战

第二阶段(30天):AI-绘画进阶实战

该阶段我们正式进入AI-绘画进阶实战学习,首先通过了解AI绘画定义与概述 ,AI绘画的应用领域 ,PAI绘画与传统绘画的区别 ,AI绘画的工具分类介绍的基本概念,以及AI绘画工具Midjourney、Stable Diffusion的使用方法,还有AI绘画插件和模板的使用为我们接下来的实战设计学习做铺垫。

  • ———–
    AI绘画定义与概述
  • AI绘画的应用领域
  • AI绘画与传统绘画的区别
  • AI绘画的工具分类介绍
  • AI绘画工具-Midjourney
  • AI绘画工具-百度文心一格
  • AI绘画工具-SDWebUI
  • AI绘画工具-Vega AI
  • AI绘画工具-微信中的AI绘画小程序
  • Midjourney学习-Discord账号的注册
  • Midjourney Bot界面讲解
  • Midjourney提示词入门
  • Midjourney高级提示词
  • Midjourney版本参数学解读
  • Midjourney功能参数
  • Midjourney上采样参数
  • AI绘画组合应用1-Midjourney + GPT
  • AI绘画组合应用2-Stable Diffusion + GPT
  • AI绘画组合应用3-AI绘画+ GPT +小红书
  • AI绘画组合应用4-AI绘画+ GPT +抖音
  • AI绘画组合应用5-AI绘画+ GPT +公众号
  • AI绘画组合应用6-AI绘画+ GPT + AI视频
  • AI绘画组合应用7-AI绘画+ GPT + 小说人物/场景
  • AI绘画设计-Logo设计
  • AI绘画设计-套用万能公式
  • AI绘画设计-引用艺术风格
  • AI绘画设计-GPT加速设计方案落地
  • AI绘画设计-Vega AI渲染线稿生成设计
  • AI绘画设计-摄影
  • AI绘画设计-头像设计
  • AI绘画设计-海报设计
  • AI绘画设计-模特换装
  • AI绘画设计-家具设计
  • AI绘画设计-潘顿椅设计
  • AI绘画设计-沙发设计
  • AI绘画设计-电视柜设计
  • AI绘画设计-包装设计的提示词构思

第三阶段(30天):AI-视频高段位

恭喜你,如果学到这里,你基本可以找到一份AIGC副业相关的工作,比如电商运营、原画设计、美工、安全分析等岗位;如果新媒体运营学的好,还可以从各大自媒体平台收获平台兼职收益。

到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?

  • ———–
    AI视频定义与概述
  • AI视频制作-方案与创新
  • AI视频制作-各种工具实操
  • AI视频制作-美学风格(油画/插画/日漫/水墨)
  • AI视频制作-形象设定(人物形象服装/造型/表情)
  • AI视频画面特效处理
  • AI视频画面拼接
  • AI视频画面配音
  • AI视频画面包装
  • AI视频锁定人物逐一精修
  • 多种表情动作/情节
  • 动态模型转换-视频内部元素关键帧
  • 动态模型转换-图像整体运动
  • 动态模型转换-虚拟人
  • 动态模型转换-表面特效
  • AI自媒体视频-深问GPT,获取方案
  • AI自媒体视频-风格设置(诗歌/文言文等)
  • AI自媒体视频-各行业创意视频设计思路
  • AI视频风格转换
  • AI视频字数压缩
  • AI视频同类型衍生
  • AI视频Pormpt公式

第四阶段(20天):AI-虚拟数字人课程

  • ———–
    AI数字人工具简介
  • AI工作台界面功能展示及介绍
  • AI数字人任务确定
  • AI数字人素材准备
  • AI知识、语料的投喂
  • AI模型训练
  • AI训练成果展示及改进
  • AI数字人直播系统工具使用
  • AI人物在各平台直播
  • AI数字人在OBS平台直播

第五阶段(45天以上):AIGC-多渠道变现课程

该阶段是项目演练阶段,大家通过使用之前学习过的AIGC基础知识,项目中分别应用到了新媒体、电子商务等岗位能帮助大家在主流的新媒体和电商平台引流和带货变现。

———–

  • AI-小红书引流变现
  • AI-公众号引流变现
  • AI-知乎引流变现
  • AI-抖音引流/带货变现
  • AI-写作变现
  • AI-B站引流变现
  • AI-快手引流变现
  • AI-百家号引流变现
  • AI-制作素材模板出售变现
  • AI-周边定制变现
  • AI-手机壳图案定制变现
  • AI-周边产品定制变现
  • AI-服装图案定制变现
  • AI-个性头像定制变现
  • AI-起号与知识付费变现
  • AI-实现淘宝销售变现

学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。

如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名AIGC的正确特征了。

这份完整版的AIGC资料我已经打包好,需要的点击下方二维码,即可前往免费领取!

文章来源于互联网:Stable Diffusion入门使用技巧及个人实例分享–大模型及lora篇

相关推荐: AI进阶科普!A2A、MCP协议到底是什么?

昨天晚上,Google 发了一个关于 Agent 的新开放协议。 叫 Agent2Agent,简称 A2A。 包括昨天阿里云百炼也官宣搞 MCP 了。 这些本来没打算写的,因为太技术了,也是感觉离普通人还是有很大距离。 但是有好几个朋友都在群里说。。。 那还是…

赞(0)
未经允许不得转载:5bei.cn大模型教程网 » Stable Diffusion入门使用技巧及个人实例分享--大模型及lora篇

Stable Diffusion入门使用技巧及个人试用实例分享--SD提示词及ControlNet篇

上节我们简单介绍了一下Stable Diffusion的基础模型及lora,今天我们接着讲解一下SD提示词的实践篇及ControlNet常用模型篇,本文总字数3000+,同时包含大量的图片及提示词分享。欢迎阅读。

SD如何写提示词

提示词库分享在文末!免费领取
下面是我多方整理以及自己常用的一些标准提示词,在我的案例中,大家也基本能看出来,我经常用这些提示词。 我按标准提示词、内容提示词、画幅构图视角、提示词的权重分配、正向提示词示例、反向提示词给大家都举了一些例子,欢迎尝试。

一、标准提示词

提示词库分享在文末!免费领取

通用高画质:

masterpiece:杰作

nsanely detailed,ultra-detailed,highly detailed:疯狂的细节,超精细的细节绘制

best quality:高质量

特定高分辨率类型:

HD Quality:高清

8k:8k高清

sharp focus:焦点清晰

unreal engine rendered:虚幻渲染

画家风格:

19世纪肖像画家:John Collier

偏写实和现代风格:Stanley Artgerm Lau

擅长女性肖像,偏印象派:John Singer Sargent

擅长画平面肖像:Alphonse Mucha

画风:

插画风:illustration,painting,paintbrush

二次元:anime,comic,game CG

写实系:photorealistic,realistic,photograph,Ultra realistic illustration

肖像画风:Portrait 用于生成脸部或者头像

数字艺术风格:Digital painting

2D插图风格:Concept art

Ultra realistic illustration

风格:

印象派:hyperrealistic

超现实主义:fantasy

波普艺术:surrealist

二、内容提示词:

人物及主体特征:

精致的脸,清晰的脸:exquisite face,clear face

服饰搭配:white dress

发型发色:blonde hair,long hair

五官特点:small eyes, big mouth

面部表情:smiling

肢体动作:stretching arms

人物皮肤:(high detailed skin:1.2)

场景特征:

室内/室外:indoor/outdoor

大场景:forest,city,street

小细节:tree,bush, white flower

环境光照:

白天黑夜:day/night

特定时段:morning,sunset

光环境:sunlight,bright,dark

天空:blue sky, starry sky

三、画幅构图视角:

十种基础构图关键词:

对称构图:Symmetrical composition

对角线构图:diagonal composition

水平线构图:horizontal composition

散点构图:Scattered composition

遮挡构图:blocking composition

线条构图:Line composition

仰拍构图:upside-down composition

俯拍构图:perspective composition

对比构图:Contrast composition

架构式构图:frame composition

距离:close-up,distant

其他一些常用的提示词:

人物比例:full body,upper body

观察视角:from above, view of back

aerial view/aerial photography/overhead shot—鸟瞰,做一些宏达的场景俯视图

镜头类型:wide angle,sony v7

适合景色的一些构图:

massive scale宏伟场景构图

Epic level composition史诗级构图

street level view路人视角

lush vegetation茂盛的植被

idyllic田园般的

Matte painting当总是远景,希望有近景,景深一点

blurry background背景虚化

四、提示词的权重分配

提示词库分享在文末!免费领取

括号+数字:

(red flower:1.5):调节red flower出现的权重是原来的1.5倍,加强。

(red flower:0.5):调节red flower出现的权重是原来的0.5倍,减弱。

套括号:

((red flower)):每套一层,权重_1.1倍,此处表示调节red flower出现的权重是原来的1.1_1.1倍,加强。

{{red flower}}:每套一层,权重_1.05倍,此处表示调节red flower出现的权重是原来的1.05_1.05倍,加强。

[[red flower]]:每套一层,权重_0.9倍,此处表示调节red flower出现的权重是原来的0.9_0.9倍,加强。

五、正向提示词示例:

((masterpiece)),((nsanely detailed)), ((intricate)),((exquisite face))illustration,a beautiful young girl ,full body,standing,white dress,perfect lighting

常用模板:画质标准+风格+人物特征要求+光线

六、反向提示词:

一般写你不希望画面中出现的内容。

watermark 水印

Low/worst quality 低质量

Logo 标识文字

NSFW 不需要的属性

个人常用的反向提示词1:

NSFW,lowrs,blurry,(deformed, distorted, disfigured:1.3), (stacked torsos:1.2), (totem pole:1.1), poorly drawn, bad anatomy, wrong anatomy, missing arms, missing legs, extra arms, extra legs, fused fingers, too many fingers, long neck,extra limb, missing limb, floating limbs, (mutated hands and fingers:1.4), disconnected limbs, mutation, mutated, ugly, disgusting, blurry, amputation, (extra fingers:1.2), (worst quality, low quality:1.3)out of frame, worst quality, low quality, jpeg artifacts, ugly, duplicate, morbid, mutilated, mutation, deformed, blurry, dehydrated, bad proportions, extra limbs, cloned face, disfigured, gross proportions, malformed limbs

个人常用的反向提示词2:

NSFW,out of frame, worst quality, low quality, jpeg artifacts, ugly, duplicate, morbid, mutilated, extra fingers, mutated hands, poorly drawn hands, poorly drawn face, mutation, deformed, blurry, dehydrated, bad anatomy, bad proportions, extra limbs, cloned face, disfigured, gross proportions, malformed limbs, missing arms, missing legs, extra arms, extra legs, fused fingers, too many fingers, long neck

没有人物时常用的反向提示词:

NSFW,out of frame, worst quality, low quality

七、案例:

下面再给大家看个实际的例子吧.

1、不加任何画质、风格的提示词。

大模型选择:sd1.5基础大模型

提示词:a beautiful young girl,white dress

可以看出来脸部、手部、画风都比较一般。

下面我加上对画质的要求(比如:masterpiece、exquisite face)、风格(比如:photorealistic)的要求、还有镜头距离的要求(比如:close up)、反向提示词看看效果:

提示词:((masterpiece)),((exquisite face)),((best quality)),((photorealistic)),a beautiful young girl,white dress,close up, Appropriate lighting

反向:NSFW,out of frame, worst quality, low quality, jpeg artifacts, ugly, duplicate, morbid, mutilated, extra fingers, mutated hands, poorly drawn hands, poorly drawn face, mutation, deformed, blurry, dehydrated, bad anatomy, bad proportions, extra limbs, cloned face, disfigured, gross proportions, malformed limbs, missing arms, missing legs, extra arms, extra legs, fused fingers, too many fingers, long neck

生成图片如下:(可以看出来,脸部算比较清晰精致了,然后也理解了真实的摄影风格,然后近景)

CONTROLNET简介

ControlNet是斯坦福大学研究人员开发的Stable Diffusion的扩展,使创作者能够轻松地控制AI图像和视频中的对象。它将根据边缘检测、草图处理或人体姿势等各种条件来控制图像生成。ControlNet可以概括为一种简单的稳定扩散微调方法。下面我给大家简单介绍一下ControlNet如何使用,下图是ControlNet的webui的页面,我着重讲一下标识出来的4个模块:

1、在ControlNet Image:

常用几个选项:

  • Enable :选中此框以启用ControlNet。(需要使用controlnet时这个启用一定要勾选,还有电脑显存较小时勾选上,其他选项我平时用的不多)
  • Low VRAM(低显存模式):这将减缓ETA进程,但有助于使用更少的计算空间(显存小于6 GB VRAM建议使用)
  • Pixel Perfect(像素完美):勾选后会更清晰,画面色调会更基于原图

  • Allow preview:预览模式,勾选后,右侧可以预览不同模型的预览效果。

2、文生图+ControlNet 模型:

这里还是基于上面那个SD案例中的白裙小女孩,我们先加上controlnet看看效果吧。后续第三节再细节每个controlnet模型的使用场景哈。

提示词保持不变:((masterpiece)),((exquisite face)),((best quality)),((photorealistic)),a beautiful young girl,white dress,close up, Appropriate lighting

加上ControlNet-candy的效果:

生成图片效果如下:(白裙、精致的脸庞、candy姿势基本都保持了,👍)

3、control model模型:

(此图来源于网络,供大家简单理解)

以下原图是自己拍摄的一张图片,后续尽量都会基于这张图片试验controlnet的各种图生图的效果。

canny-一线稿

Canny通过使用边缘检测器创建高对比度区域的轮廓来检测输入图像。线条可以捕捉到非常详细的信息,但如果你的图像背景中有一些物体,它很可能会检测到不需要的物体。所以背景中物体越少效果越好。

使用场景:希望保留参考图的形状,轮廓会和原图比较接近

提示词:((masterpiece)),((nsanely detailed)), ((HD Quality)),((best quality))((Illustration style)), the back of a girl, the background is the scenery near Oriental Pearl TV Tower in Shanghai

我重绘幅度调的0.75,建筑已经比较接近原图了,用图生图的功能时,重绘幅度越大,AI发挥空间越大。一般0.6-0.75左右会比较接近原图。但是人物衣服的颜色也差距较大。

Scribble

涂鸦的目的是从简单的黑白线条画和草图生成图像。用户也可以使用“Canvas”选项创建特定大小的空白画布,用于手动素描(也可以直接上传图像)。如果草图和绘图由白色背景上的黑线组成,则需要选中“Invert Input Color”复选框。

上图能看出来哪个是人工涂色,哪个是AI涂色么?

depth-深度图(重绘幅度0.75)

这个预处理器有助于生成输入图像的深度估计。深度通常用于控制图像内物体的空间定位。浅色区域意味着它离用户更近,而深色区域则离用户更远。

在大图像时它可能会丢失图像内部的细节(面部表情等)。一般会与control_sd15_depth模型组合使用。Midas Resolution函数用于增加或减少detectmap中的大小和细节级别。它的级别越高,将使用更多的VRAM,但可以生成更高质量的图像,反之亦然。

说明:保留参考图的空间关系,缺少细节。

包包、衣服的细节变化比较大。

这张图可能效果不太明显,我换一张图,下面是预览效果:(使用depth-midas)

生成效果如下:(可以看出来深度保留的很好,但是有些细节比如中间那个路的细节丢失了)

depth leres-深度图

Depth Leres有与Depth 相同的基本概念,但在地图中包含更广泛的范围。但有时它会从图片中捕获了太多信息,可能会生成与原始图像略有不同的图像。

生成对比图如下:(可以看到高楼细节变化还是很大的,但是图片深度的空间定位保留的很好)

这2种差不多,可以根据不同的图试用两种预处理器,然后决定用哪一种更好。

normal map一法线图(normal-midas)

法线图使用了三种主要颜色(红、绿、蓝),通过不同的角度来精确定位物体的粗糙度和光滑程度。它生成法线图的基本估计,可以保留相当多的细节,但可能会产生意想不到的结果,因为法线图完全来自图像,而不是在3D建模软件中构建的。

法线图有利于突出复杂的细节和轮廓,并且在定位对象方面也很有效,特别是在接近度和距离方面。“Normal Background Threshold”用于调整背景成分。设置一个更高的阈值可以移除背景的远处部分(将其混合成紫色)。降低阈值将命令AI保留甚至显示额外的背景元素。

背影图生成效果如下:(变化比较大)

可能这个controlnet用这张图片不合适,我换一个建筑图试一下。

预览效果:(可以看到丢失了一些轮廓)

生成效果如下:(背影居然增加了海滩的部分,然后主楼也变了)

openpose-动作姿态图

控制生成人物的动态;这个预处理器生成了一个基本的骨骼火柴人形象。这种技术被广泛采用,因为多个 OpenPose 骨架可以组合成一个图像,这有助于引导稳定扩散生成多个一致的主题。

示例效果:

openpose hand

动作姿态和手部图一控制生成人物的动态和手;

segmentation一语义分割

分割预处理器检测并将上传的图像分割为同一图像内的段或区域。该模型在生成一组新的图像时,将detectmap图像应用于文本提示。

用不同色块生成对应的物体,背影图效果如下:

我再用上面的建筑图试一下:

预览效果:

生成图片:(可以看出来色泽是保留的最好的)

最后再看一组玩偶我用controlnet生成的效果:

4、control mode:

用于设置是提示词和controlnet那个比重更高,比如你只希望大概参考controlnet的一些形状,希望出现更多你提示词里面的内容,则可以选择my prompt is more important,一般可以选择balance。

5、Resize Mode:

提供了调整ControlNet大小和上传图像的纵横比。

  • Just Resize拉伸:不保留纵横比的情况下,改变ControlNet图像的大小以匹配Txt2Img设置的宽度和高度。这包括拉伸或压缩图像以适应指定的尺寸。

比如我生成的图片设置的512*512,但是因为我原图是竖版的图片,所以它会自动将原图拉伸后进行匹配再生成。

示例效果:(不推荐使用)

  • Crop and resize(裁剪并调整大小):调整ControlNet图像的大小以适应Txt2Image的尺寸。它将调整图像的大小,直到它能够适应Txt2Image设置的宽度和高度。比例不会变。

  • Resize and Fill(调整大小并填充):调整Txt2Image的大小以适应ControlNet图像的尺寸。它将调整图像的大小,直到Txt2Image设置可以适合ControlNet图像。

这种不会改变原图比例,且对自动补全左侧原图没有的部分,推荐使用!

示例效果:

恭喜你,已经阅读结束,希望本篇文章对您有帮助。

后续有空还会继续更新stable diffussion的使用技巧,下节会讲如何生成脸部尽量一致的人物,如何控制人物的动作,欢迎关注或者点赞哦,再次感谢您的阅读。

写在最后

感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。

AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。

二、AIGC必备工具

工具都帮大家整理好了,安装就可直接上手!

三、最新AIGC学习笔记

当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。

四、AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

五、实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。

文章来源于互联网:Stable Diffusion入门使用技巧及个人试用实例分享–SD提示词及ControlNet篇

相关推荐: 为什么并非所有的企业都该拥抱AIGC?

原始撰稿 从大的趋势上来看,肯定是所有的企业都要拥抱大模型或者是拥抱AI的。但是目前从我们对于很多大模型的测评结果与第三方视角来看,大部分企业的核心业务、生产流程还是不太能够依赖大模型的,现在还是属于在相对边缘的业务上做一些尝试,可能成本的下降不是直接等同于可…

赞(0)
未经允许不得转载:5bei.cn大模型教程网 » Stable Diffusion入门使用技巧及个人试用实例分享--SD提示词及ControlNet篇
分享到: 更多 (0)

AI大模型,我们的未来

小欢软考联系我们