Datawhale 2024年AI夏令营的第四期学习活动聚焦于“AIGC”（人工智能生成内容）的前沿领域，第三阶段特别安排了“进阶上分-实战优化”这一课程。课程紧密依托于魔搭社区举办的“可图Kolors-LoRA风格故事挑战赛”(https://tianchi.aliyun.com/competition/entrance/532254)

本篇笔记为第三阶段的笔记

本阶段的学习分为了解ComfyUI的概念及其应用场景、学习LoRA微调、准备数据集。

一、了解ComfyUI的概念及其应用场景

1.1 ComfyUI的概念

ComfyUI是基于稳定扩散算法的节点工作流WebUI。它通过将复杂的稳定扩散过程巧妙地分解为若干个节点，实现了对工作流程的精确控制和高度定制。这种创新不仅使图像生成速度更快，而且大幅降低了显存占用，比起传统的WebUI方案，ComfyUI提供了更高效、经济的解决方案。

图1  界面截图

1.2 ComfyUI的第三方插件

1、Comfyui_Controlnet_Aux（ControlNet辅助预处理器插件）

用于制作ControlNet的提示图像，提供了丰富的预处理节点，包括Canny、Depth、Scribble、Tile、Lineart、Inpaint等等。

2、ComfyUI-Advanced-ControlNet （高级ControlNet节点）

用于跨时间步长和批量潜伏调度 ControlNet 强度，以及应用自定义权重和注意力掩模的节点。这里的 ControlNet 节点完全支持滑动上下文采样，就像ComfyUI-AnimateDiff-Evolved节点中使用的那样 。目前支持 ControlNets、T2IAdapters、ControlLoRAs、ControlLLLite、SparseCtrls 和 SVD-ControlNets。

3、ComfyUI-AnimateDiff-Evolved（Animate动画插件）

AnimateDiff插件是一个用于生成和操作图像的强大工具，它属于Stable Diffusion模型的一个扩展。ComfyUI-AnimateDiff-Evolved改进了ComfyUI 的AnimateDiff集成，以及可在 AnimateDiff 之外使用的被称为“进化采样”的高级采样选项。

4、UltimateSDUpscale （图片终极放大器）

可以无损放大图片的插件，同时配合不同的放大模型还能增强图片细节。

5、ComfyUI-Manager （拓展管理）

ComfyUI-Manager是一个旨在增强ComfyUI可用性的扩展。它提供了安装、删除、禁用和启用ComfyUI 各种自定义节点的管理功能。此外，此扩展提供了集线器功能和便利功能，可以访问 ComfyUI 中的各种信息。

1.3 速通安装ComfyUI

根据学习指示文件的说明进行操作，成功跑通ComfyUI。

 图2  界面截图

二、学习LoRA微调 

LoRA(Low-Rank adaptation, LoRA)是目前广泛用于训练大型语言模型的一种技术。LoRA提供了一种训练方法，通过减少训练的参数数量，这种方法更快、更容易进行。LoRA引入了两个矩阵A和B，如果参数W的原始矩阵的大小为d × d，则矩阵A和B的大小分别为d × r和r × d，其中r要小得多(通常小于100)。参数r称为秩。如果使用秩为r=16的LoRA，则这些矩阵的形状为16 x d，这样就大大减少了需要训练的参数数量。LoRA的最大的优点是，与微调相比，训练的参数更少，但是却能获得与微调基本相当的性能。

在完成这一部分内容的学习之后，本期夏令营的主要学习内容就大致完成了。之后的学习我还会继续去探索，感谢Datawhale提供的学习支持与资源。

以上为本次Task3学习内容的笔记。

文章来源于互联网:Datawhale X 魔搭 AI夏令营 AIGC文生图方向Task3笔记

相关推荐: 万字长文：Stable Diffusion 保姆级教程_stable diffusion教程

万字长文：Stable Diffusion 保姆级教程（文末领取资料） 2022年绝对是人工智能爆发的元年，前有 stability.ai开源 Stable Diffusion模型，后有 Open AI发布 ChatGPT，二者都是里程碑式的节点事件，其重要性…

活动来源：Datawhale (linklearner.com)

本笔记将简要介绍我所学的知识点以及心得。

1.初识ComfyUI

1.1ComfyUI

GUI的一种，是基于节点工作的用户界面，主要用于操作图像的生成技术，ComfyUI 的特别之处在于它采用了一种模块化的设计，把图像生成的过程分解成了许多小的步骤，每个步骤都是一个节点。这些节点可以连接起来形成一个工作流程，这样用户就可以根据需要定制自己的图像生成过程。

核心模块由模型加载器、提示词管理器、采样器、解码器。

Stable Diffusion的基本原理是通过降噪的方式（如完全的噪声图像），将一个原本的噪声信号变为无噪声的信号（如人可以理解的图像）。其中的降噪过程涉及到多次的采样。

1.2 ComfyUI的流程

Step1：选择模型

从可用的 AI 模型列表中选择合适的模型，例如 Stable Diffusion 或其他文本到图像模型。

Step2：构建工作流

在 ComfyUI 的图形界面上拖拽节点，并将它们连接起来以形成一个完整的图像生成或编辑流程。

输入必要的参数，如文本提示、图像文件等。

Step3：执行生成

运行构建好的工作流，观察生成的结果。

Step4：调整与优化

如果需要，可以根据生成的结果调整参数或修改工作流，直至获得满意的效果。

1.3 优势

模块化和灵活性、可视化界面、多模型支持、调试和优化、开放和可扩展、用户友好性……

2.安装

原官方教程中有更加详细的步骤。我的体验是：在魔搭社区提供的Notebook和免费的GPU算力支持下十分便捷。

下载脚本代码文件，再进入ComfyUI的安装文件进行安装后，即可进入预览界面。

3.工作流尝试

通过下载工作流的脚本，再加载到刚刚安装的comfyUI上后，就可以加载出模型，完成图片的生成啦！可以通过不同的脚本，选择是否带Lora的工作流。

Lora微调
1.Lora简介
LoRA (Low-Rank Adaptation) 微调是一种用于在预训练模型上进行高效微调的技术。它可以通过高效且灵活的方式实现模型的个性化调整，使其能够适应特定的任务或领域，同时保持良好的泛化能力和较低的资源消耗。

2.Lora详解
LoRA通过在预训练模型的关键层中添加低秩矩阵来实现。这些低秩矩阵通常被设计成具有较低维度的参数空间，这样它们就可以在不改变模型整体结构的情况下进行微调。在训练过程中，只有这些新增的低秩矩阵被更新，而原始模型的大部分权重保持不变。

Lora微调的优势：快速适应新任务；保持泛化能力；资源效率。

微调代码：

import os
cmd = """
python DiffSynth-Studio/examples/train/kolors/train_kolors_lora.py  # 选择使用可图的Lora训练脚本DiffSynth-Studio/examples/train/kolors/train_kolors_lora.py
  --pretrained_unet_path models/kolors/Kolors/unet/diffusion_pytorch_model.safetensors  # 选择unet模型
  --pretrained_text_encoder_path models/kolors/Kolors/text_encoder  # 选择text_encoder
  --pretrained_fp16_vae_path models/sdxl-vae-fp16-fix/diffusion_pytorch_model.safetensors  # 选择vae模型
  --lora_rank 16  # lora_rank 16 表示在权衡模型表达能力和训练效率时，选择了使用 16 作为秩，适合在不显著降低模型性能的前提下，通过 LoRA 减少计算和内存的需求
  --lora_alpha 4.0  # 设置 LoRA 的 alpha 值，影响调整的强度
  --dataset_path data/lora_dataset_processed  # 指定数据集路径，用于训练模型
  --output_path ./models  # 指定输出路径，用于保存模型
  --max_epochs 1  # 设置最大训练轮数为 1
  --center_crop  # 启用中心裁剪，这通常用于图像预处理
  --use_gradient_checkpointing  # 启用梯度检查点技术，以节省内存
  --precision "16-mixed" # 指定训练时的精度为混合 16 位精度（half precision），这可以加速训练并减少显存使用
""".strip()
os.system(cmd) # 执行可图Lora训练    

最终生成结果：

4.如何准备高质量的数据集

1.明确数据集需求和目标
关注应用场景：明确你的模型要被应用到什么样的场景当中

关注数据类型：你需要什么样的图片？是写实的还是二次元的？等等

关注数据量：考虑你的任务大概需要多少图片来进行训练和验证

2.数据集的多种不同来源
数据集可以通过多种渠道进行获取，例如：

1.从公开的数据平台获取；

2.使用API或爬虫获取；

3.进行数据合成；

4.进行数据增强；

5.进行购买或者定制；

我们在选取不同渠道时还要考虑其合规性，需要谨慎选取

5.学习总结

得知这次夏令营是刷帖子的偶然，本以为只是一些现有的AI生成图片的应用使用教程，没有想到竟然从文生图的历史开始，再到底层的搭建部署，十分认真详细的给我们在短时间内进行了梳理和实践，感谢每一位夏令营的工作人员，感谢你们提供的教程和资源！通过三个task的学习，我对于AI生图又有了更深的体会，初步上手了ComfyUI，学习了什么是LoRA微调方法，利用该方法能够使我们的模型拥有更好的泛化能力和运行效率，即使在标注数据不多的情况下模型也能够较好的生成图片。

通过本次夏令营活动我有很大收获，但也明白这仅仅是大模型应用的“冰山一角”，前方还有更多的技术等待着我们去学习和运用，因此自己还有很多的不足，希望在今后能够继续在Datawhale和魔塔提供的丰富，优质的资源下努力学习和进步。

文章来源于互联网:Datawhale X 魔搭 AI夏令营-AIGC文生图方向Task3笔记

相关推荐: AI 助力开发新篇章：云开发 Copilot 深度体验与技术解析

一、引言：技术浪潮中的个人视角 在数字化转型浪潮的推动下，开发领域正经历前所未有的变革。传统的软件开发流程复杂，耗费大量的时间与资源，而低代码平台的出现则为开发者打开了新的可能性。然而，低代码并不是终点，随着人工智能技术的融入，AI 辅助开发正成为下一阶段的焦…

今天做的是AIGC文生图方向的 task 2 ，回顾一下

task 2 

step 0 : Task 2 学习规划

step 1 : 认识通义千问

 （使用通义千问大语言模型学习如何借助AI智能助手帮我们阅读代码）

 链接：点击直达

1 . 通义千问的自我介绍

       首先，我们来看下它的自我介绍。通义千问是具有信息查询、语言理解、文本创作等多能力的AI助手。我们可以看到，编程与技术支持能力是它的强项之一。

       接下来我们把场景聚焦到编程与技术支持这个方向，让他详细介绍下自己可以如何帮助大家编程。

2 . AI学习助教

       作为一个AI助手，通义千问就是你专属的、可随时触达的、24小时随时待命的贴心助教，可以帮助你解决很多学习中遇到的问题。

       所以当你遇到学习问题的时候，问问千问吧。在这里请接收一下通义千问的邀请函！  

3 . 操作指南

官方链接：https://tongyi.aliyun.com/qianwen/

1 .  注册账号

2 . 通义主要功能模块

step 2 : baseline 精读

        tsak 1 笔记链接：Datawhale X 魔搭 AI夏令营 – AIGC文生图方向Task1笔记-CSDN博客

        在 task 1 的任务中, 我们拿到 baseline 文件后, 根据教程指示顺畅通关, 似乎没有什么问题。但是可能有些同学看到这个baseline的代码会一脸懵，就很想知道某一个模块、某一行究竟是干啥的，下面我们就借助前面讲到的通义千问来精读这个代码。

      首先我们来直观感知下这个文生图代码的框架结构：

         现在我们先把我们baseline中的所有代码整理出来，代码结构如下：

!pip install simple-aesthetics-predictor

!pip install -v -e data-juicer

!pip uninstall pytorch-lightning -y
!pip install peft lightning pandas torchvision

!pip install -e DiffSynth-Studio

from modelscope.msdatasets import MsDataset

ds = MsDataset.load(
    'AI-ModelScope/lowres_anime',
    subset_name='default',
    split='train',
    cache_dir="/mnt/workspace/kolors/data"
)

import json, os
from data_juicer.utils.mm_utils import SpecialTokens
from tqdm import tqdm


os.makedirs("./data/lora_dataset/train", exist_ok=True)
os.makedirs("./data/data-juicer/input", exist_ok=True)
with open("./data/data-juicer/input/metadata.jsonl", "w") as f:
    for data_id, data in enumerate(tqdm(ds)):
        image = data["image"].convert("RGB")
        image.save(f"/mnt/workspace/kolors/data/lora_dataset/train/{data_id}.jpg")
        metadata = {"text": "二次元", "image": [f"/mnt/workspace/kolors/data/lora_dataset/train/{data_id}.jpg"]}
        f.write(json.dumps(metadata))
        f.write("n")

data_juicer_config = """
# global parameters
project_name: 'data-process'
dataset_path: './data/data-juicer/input/metadata.jsonl'  # path to your dataset directory or file
np: 4  # number of subprocess to process your dataset

text_keys: 'text'
image_key: 'image'
image_special_token: ''

export_path: './data/data-juicer/output/result.jsonl'

# process schedule
# a list of several process operators with their arguments
process:
    - image_shape_filter:
        min_width: 1024
        min_height: 1024
        any_or_all: any
    - image_aspect_ratio_filter:
        min_ratio: 0.5
        max_ratio: 2.0
        any_or_all: any
"""
with open("data/data-juicer/data_juicer_config.yaml", "w") as file:
    file.write(data_juicer_config.strip())

!dj-process --config data/data-juicer/data_juicer_config.yaml

import pandas as pd
import os, json
from PIL import Image
from tqdm import tqdm


texts, file_names = [], []
os.makedirs("./data/data-juicer/output/images", exist_ok=True)
with open("./data/data-juicer/output/result.jsonl", "r") as f:
    for line in tqdm(f):
        metadata = json.loads(line)
        texts.append(metadata["text"])
        file_names.append(metadata["image"][0])

df = pd.DataFrame({"text": texts, "file_name": file_names})
df.to_csv("./data/data-juicer/output/result.csv", index=False)

df

from transformers import CLIPProcessor, CLIPModel
import torch

model = CLIPModel.from_pretrained("openai/clip-vit-base-patch32")
processor = CLIPProcessor.from_pretrained("openai/clip-vit-base-patch32")

images = [Image.open(img_path) for img_path in df["file_name"]]
inputs = processor(text=df["text"].tolist(), images=images, return_tensors="pt", padding=True)

outputs = model(**inputs)
logits_per_image = outputs.logits_per_image  # this is the image-text similarity score
probs = logits_per_image.softmax(dim=1)  # we can take the softmax to get the probabilities

probs

from torch.utils.data import Dataset, DataLoader

class CustomDataset(Dataset):
    def __init__(self, df, processor):
        self.texts = df["text"].tolist()
        self.images = [Image.open(img_path) for img_path in df["file_name"]]
        self.processor = processor

    def __len__(self):
        return len(self.texts)

    def __getitem__(self, idx):
        inputs = self.processor(text=self.texts[idx], images=self.images[idx], return_tensors="pt", padding=True)
        return inputs

dataset = CustomDataset(df, processor)
dataloader = DataLoader(dataset, batch_size=8)

for batch in dataloader:
    outputs = model(**batch)
    logits_per_image = outputs.logits_per_image
    probs = logits_per_image.softmax(dim=1)
    print(probs)

import torch
from diffusers import StableDiffusionPipeline

torch.manual_seed(1)
pipe = StableDiffusionPipeline.from_pretrained("CompVis/stable-diffusion-v-1-4", torch_dtype=torch.float16)
pipe = pipe.to("cuda")

prompt = "二次元，一个紫色长发小女孩穿着粉色吊带漏肩连衣裙，在练习室练习唱歌，手持话筒"
negative_prompt = "丑陋、变形、嘈杂、模糊、低对比度"
guidance_scale = 4
num_inference_steps = 50

image = pipe(
    prompt=prompt,
    negative_prompt=negative_prompt,
    guidance_scale=guidance_scale,
    num_inference_steps=num_inference_steps,
    height=1024,
    width=1024,
).images[0]

image.save("example_image.png")
image

from PIL import Image

torch.manual_seed(1)
image = pipe(
    prompt="二次元，日系动漫，演唱会的观众席，人山人海，一个紫色短发小女孩穿着粉色吊带漏肩连衣裙坐在演唱会的观众席，舞台上衣着华丽的歌星们在唱歌",
    negative_prompt="丑陋、变形、嘈杂、模糊、低对比度",
    cfg_scale=4,
    num_inference_steps=50, height=1024, width=1024,
)
image.save("1.jpg")

torch.manual_seed(1)
image = pipe(
    prompt="二次元，一个紫色短发小女孩穿着粉色吊带漏肩连衣裙坐在演唱会的观众席，露出憧憬的神情",
    negative_prompt="丑陋、变形、嘈杂、模糊、低对比度，色情擦边",
    cfg_scale=4,
    num_inference_steps=50, height=1024, width=1024,
)
image.save("2.jpg")

torch.manual_seed(2)
image = pipe(
    prompt="二次元，一个紫色短发小女孩穿着粉色吊带漏肩连衣裙坐在演唱会的观众席，露出憧憬的神情",
    negative_prompt="丑陋、变形、嘈杂、模糊、低对比度，色情擦边",
    cfg_scale=4,
    num_inference_steps=50, height=1024, width=1024,
)
image.save("3.jpg")

torch.manual_seed(5)
image = pipe(
    prompt="二次元，一个紫色短发小女孩穿着粉色吊带漏肩连衣裙，对着流星许愿，闭着眼睛，十指交叉，侧面",
    negative_prompt="丑陋、变形、嘈杂、模糊、低对比度，扭曲的手指，多余的手指",
    cfg_scale=4,
    num_inference_steps=50, height=1024, width=1024,
)
image.save("4.jpg")

torch.manual_seed(0)
image = pipe(
    prompt="二次元，一个紫色中等长度头发小女孩穿着粉色吊带漏肩连衣裙，在练习室练习唱歌",
    negative_prompt="丑陋、变形、嘈杂、模糊、低对比度",
    cfg_scale=4,
    num_inference_steps=50, height=1024, width=1024,
)
image.save("5.jpg")

torch.manual_seed(1)
image = pipe(
    prompt="二次元，一个紫色长发小女孩穿着粉色吊带漏肩连衣裙，在练习室练习唱歌，手持话筒",
    negative_prompt="丑陋、变形、嘈杂、模糊、低对比度",
    cfg_scale=4,
    num_inference_steps=50, height=1024, width=1024,
)
image.save("6.jpg")

torch.manual_seed(7)
image = pipe(
    prompt="二次元，紫色长发少女，穿着黑色连衣裙，试衣间，心情忐忑",
    negative_prompt="丑陋、变形、嘈杂、模糊、低对比度",
    cfg_scale=4,
    num_inference_steps=50, height=1024, width=1024,
)
image.save("7.jpg")

torch.manual_seed(0)
image = pipe(
    prompt="二次元，紫色长发少女，穿着黑色礼服，连衣裙，在台上唱歌",
    negative_prompt="丑陋、变形、嘈杂、模糊、低对比度",
    cfg_scale=4,
    num_inference_steps=50, height=1024, width=1024,
)
image.save("8.jpg")

import numpy as np
from PIL import Image


images = [np.array(Image.open(f"{i}.jpg")) for i in range(1, 9)]
image = np.concatenate([
    np.concatenate(images[0:2], axis=1),
    np.concatenate(images[2:4], axis=1),
    np.concatenate(images[4:6], axis=1),
    np.concatenate(images[6:8], axis=1),
], axis=0)
image = Image.fromarray(image).resize((1024, 2048))
image

1 . 分析代码的主体架构

1 . 1 输入的Prompt

你是一个优秀的python开发工程师，现在我们需要你帮我们分析这个代码的主体框架，你需要把代码按照工作流分成几部分，用中文回答我的问题。{此处替换前面的代码}

1 . 2 返回的结果

         这段代码主要分为以下几个部分：

1 . 安装和卸载依赖包

• 使用 !pip 命令来安装或卸载 Python 包。包括：

  • simple-aesthetics-predictor, data-juicer, peft, lightning, pandas, torchvision, 和 DiffSynth-Studio 的安装。

  • 卸载 pytorch-lightning（使用 -y 自动确认卸载）。

2 . 加载数据集

• 使用 ModelScope 的 MsDataset 类加载名为 AI-ModelScope/lowres_anime 的数据集，并指定子集名称为 default 和分割为 train，缓存目录设置为 /mnt/workspace/kolors/data。

3 . 数据预处理

• 将数据集中的图像转换为 RGB 模式，并保存到指定目录。

• 创建包含图像路径和文本描述的元数据文件 metadata.jsonl。

• 编写并保存 data_juicer_config.yaml 配置文件，用于后续的数据过滤和处理。

4 . 使用 Data-Juicer 进行数据处理

• 使用 dj-process 命令根据配置文件对数据进行过滤和处理，生成 result.jsonl 文件。

5 . 数据整理与训练

• 读取 result.jsonl 文件中的数据，并将其转换为 Pandas DataFrame，然后保存为 CSV 文件，并且将图片保存到./data/lora_dataset_processed/train文件夹下。

• 下载模型download_models([“Kolors”, “SDXL-vae-fp16-fix”])

• 在前面模型的基础上，执行Lora微调训练

• 加载微调后的模型

6 . 图像生成

• 设置正向提示词，反向提示词，执行次数，图片尺寸

• 设置随机种子，控制图片是否可以重复生成，并将图像保存为 .jpg 文件。

7 . 合并图像

• 最后，将生成的多个图像合并成一个大图像，并调整大小。

       整个流程涵盖了从数据加载、预处理、特征提取、模型预测到图像生成等多个方面。每一部分都有其特定的功能，共同构成了一个完整的二次元图像处理和生成的工作流。

1 . 3 执行过程

       向通义输入问题

       通义返回答案

 2 . 逐行解释代码

2 . 1 输入的问题

你是一个优秀的python开发工程师，现在我们需要你帮我们逐行分析这个代码，用中文回答我的问题。{此处替换前面的代码}

2 . 2 返回的结果

     这段代码主要完成以下功能：

1. 安装和卸载一些Python包。

2. 从ModelScope加载一个名为lowres_anime的数据集，并保存图像到指定目录。

3. 创建并处理一个用于数据清洗的JSONL文件。

4. 使用data-juicer工具过滤和处理数据集。

5. 将处理后的数据集转换为CSV格式。

6. 根据数据集通过DiffSynth做Lora微调

7. 加载Lora微调后的模型

8. 设置提示词，用微调后的模型生成图片

    下面是逐行代码及其中文注释：

# 安装 Data-Juicer 和 DiffSynth-Studio
!pip install simple-aesthetics-predictor # 安装simple-aesthetics-predictor
!pip install -v -e data-juicer # 安装data-juicer
!pip uninstall pytorch-lightning -y # 卸载pytorch-lightning
!pip install peft lightning pandas torchvision # 安装 peft lightning pandas torchvision
!pip install -e DiffSynth-Studio # 安装DiffSynth-Studio

# 从魔搭数据集中下载数据集AI-ModelScope/lowres_anime
from modelscope.msdatasets import MsDataset  #引入数据集模块msdatasets
ds = MsDataset.load(
    'AI-ModelScope/lowres_anime',
    subset_name='default',
    split='train',
    cache_dir="/mnt/workspace/kolors/data" # 指定缓存目录
) # 从魔搭数据集中下载数据集AI-ModelScope/lowres_anime，赋值给参数ds

# 生成数据集
import json, os # 导入json和os模块
from data_juicer.utils.mm_utils import SpecialTokens # 导入SpecialTokens
from tqdm import tqdm # 导入tqdm进度条管理
os.makedirs("./data/lora_dataset/train", exist_ok=True) # 创建文件夹./data/lora_dataset/train
os.makedirs("./data/data-juicer/input", exist_ok=True) # 创建文件夹./data/data-juicer/input
with open("./data/data-juicer/input/metadata.jsonl", "w") as f:
    for data_id, data in enumerate(tqdm(ds)): # 遍历数据集ds
        image = data["image"].convert("RGB") # 将数据集的图片转换为RGB
        image.save(f"/mnt/workspace/kolors/data/lora_dataset/train/{data_id}.jpg") # 保存数据集的图片
        metadata = {"text": "二次元", "image": [f"/mnt/workspace/kolors/data/lora_dataset/train/{data_id}.jpg"]} # 生成当前图片的索引数据
        f.write(json.dumps(metadata)) # 将索引数据写入文件./data/data-juicer/input/metadata.jsonl
        f.write("n")

# 配置data-juicer，并进行数据筛选过滤
# 配置过滤的规则
data_juicer_config = """
# global parameters
project_name: 'data-process' # 名称
dataset_path: './data/data-juicer/input/metadata.jsonl'  # 你前面生成的数据的索引文件
np: 4  # 线程数

text_keys: 'text' # 文件./data/data-juicer/input/metadata.jsonl的描述的字段名
image_key: 'image' # 文件./data/data-juicer/input/metadata.jsonl的图片字段名
image_special_token: ''

export_path: './data/data-juicer/output/result.jsonl' # 筛选通过的图片结果保存的的索引文件

# process schedule
# a list of several process operators with their arguments
# 过滤的规则
process:
    - image_shape_filter: # 图片尺寸过滤
        min_width: 1024 # 最小宽度1024
        min_height: 1024 # 最小高度1024
        any_or_all: any # 符合前面条件的图片才会被保留
    - image_aspect_ratio_filter: # 图片长宽比过滤
        min_ratio: 0.5 # 最小长宽比0.5
        max_ratio: 2.0 # 最大长宽比2.0
        any_or_all: any # 符合前面条件的图片才会被保留
"""

# 保存data-juicer配置到data/data-juicer/data_juicer_config.yaml
with open("data/data-juicer/data_juicer_config.yaml", "w") as file:
    file.write(data_juicer_config.strip())
# data-juicer开始执行数据筛选
!dj-process --config data/data-juicer/data_juicer_config.yaml


# 通过前面通过data-juicer筛选的图片索引信息./data/data-juicer/output/result.jsonl，生成数据集
import pandas as pd # 导入pandas
import os, json # 导入os和json
from PIL import Image # 导入Image
from tqdm import tqdm # 导入tqdm进度条管理
texts, file_names = [], [] # 定义两个空列表，分别存储图片描述和图片名称
os.makedirs("./data/lora_dataset_processed/train", exist_ok=True) # 创建文件夹./data/lora_dataset_processed/train
with open("./data/data-juicer/output/result.jsonl", "r") as file: # 打开前面data-juicer筛选的图片索引文件./data/data-juicer/output/result.jsonl
    for data_id, data in enumerate(tqdm(file.readlines())): # 遍历文件./data/data-juicer/output/result.jsonl
        data = json.loads(data) # 将json字符串转换为对象
        text = data["text"] # 获取对象中的text属性，也就是图片的描述信息
        texts.append(text) # 将图片的描述信息添加到texts列表中
        image = Image.open(data["image"][0]) # 获取对象中的image属性，也就是图片的路径,然后用这个路径打开图片
        image_path = f"./data/lora_dataset_processed/train/{data_id}.jpg" # 生成保存图片的路径
        image.save(image_path) # 将图片保存到./data/lora_dataset_processed/train文件夹中
        file_names.append(f"{data_id}.jpg") # 将图片名称添加到file_names列表中
data_frame = pd.DataFrame() # 创建空的DataFrame
data_frame["file_name"] = file_names # 将图片名称添加到data_frame中
data_frame["text"] = texts # 将图片描述添加到data_frame中
data_frame.to_csv("./data/lora_dataset_processed/train/metadata.csv", index=False, encoding="utf-8-sig") # 将data_frame保存到./data/lora_dataset_processed/train/metadata.csv
data_frame # 查看data_frame


# 下载可图模型
from diffsynth import download_models # 导入download_models
download_models(["Kolors", "SDXL-vae-fp16-fix"]) # 下载可图模型
# DiffSynth-Studio提供了可图的Lora训练脚本，查看脚本信息
!python DiffSynth-Studio/examples/train/kolors/train_kolors_lora.py -h


# 执行可图Lora训练
import os
cmd = """
python DiffSynth-Studio/examples/train/kolors/train_kolors_lora.py  # 选择使用可图的Lora训练脚本DiffSynth-Studio/examples/train/kolors/train_kolors_lora.py
  --pretrained_unet_path models/kolors/Kolors/unet/diffusion_pytorch_model.safetensors  # 选择unet模型
  --pretrained_text_encoder_path models/kolors/Kolors/text_encoder  # 选择text_encoder
  --pretrained_fp16_vae_path models/sdxl-vae-fp16-fix/diffusion_pytorch_model.safetensors  # 选择vae模型
  --lora_rank 16  # lora_rank 16 表示在权衡模型表达能力和训练效率时，选择了使用 16 作为秩，适合在不显著降低模型性能的前提下，通过 LoRA 减少计算和内存的需求
  --lora_alpha 4.0  # 设置 LoRA 的 alpha 值，影响调整的强度
  --dataset_path data/lora_dataset_processed  # 指定数据集路径，用于训练模型
  --output_path ./models  # 指定输出路径，用于保存模型
  --max_epochs 1  # 设置最大训练轮数为 1
  --center_crop  # 启用中心裁剪，这通常用于图像预处理
  --use_gradient_checkpointing  # 启用梯度检查点技术，以节省内存
  --precision "16-mixed" # 指定训练时的精度为混合 16 位精度（half precision），这可以加速训练并减少显存使用
""".strip()
os.system(cmd) # 执行可图Lora训练


# 加载lora微调后的模型
from diffsynth import ModelManager, SDXLImagePipeline # 导入ModelManager和SDXLImagePipeline
from peft import LoraConfig, inject_adapter_in_model # 导入LoraConfig和inject_adapter_in_model
import torch # 导入torch
# 加载LoRA配置并注入模型
def load_lora(model, lora_rank, lora_alpha, lora_path):
    lora_config = LoraConfig(
        r=lora_rank, # 设置LoRA的秩(rank)
        lora_alpha=lora_alpha, # 设置LoRA的alpha值，控制LoRA的影响权重
        init_lora_weights="gaussian", # 初始化LoRA权重为高斯分布
        target_modules=["to_q", "to_k", "to_v", "to_out"], # 指定要应用LoRA的模块
    )
    model = inject_adapter_in_model(lora_config, model) # 将LoRA配置注入到模型中
    state_dict = torch.load(lora_path, map_location="cpu") # 加载LoRA微调后的权重
    model.load_state_dict(state_dict, strict=False) # 将权重加载到模型中，允许部分权重不匹配
    return model # 返回注入LoRA后的模型
# 加载预训练模型
model_manager = ModelManager(
    torch_dtype=torch.float16, # 设置模型的数据类型为float16，减少显存占用
    device="cuda", # 指定使用GPU进行计算
    file_path_list=[
        "models/kolors/Kolors/text_encoder", # 文本编码器的路径
        "models/kolors/Kolors/unet/diffusion_pytorch_model.safetensors", # UNet模型的路径
        "models/kolors/Kolors/vae/diffusion_pytorch_model.safetensors" # VAE模型的路径
    ]
)
# 初始化图像生成管道
pipe = SDXLImagePipeline.from_model_manager(model_manager) # 从模型管理器中加载模型并初始化管道
# 加载并应用LoRA权重到UNet模型
pipe.unet = load_lora(
    pipe.unet, 
    lora_rank=16, # 设置LoRA的秩(rank)，与训练脚本中的参数保持一致
    lora_alpha=2.0, # 设置LoRA的alpha值，控制LoRA对模型的影响权重
    lora_path="models/lightning_logs/version_0/checkpoints/epoch=0-step=500.ckpt" # 指定LoRA权重的文件路径
)


# 生成图像
torch.manual_seed(0) # 设置随机种子，确保生成的图像具有可重复性。如果想要每次生成不同的图像，可以将种子值改为随机值。
image = pipe(
    prompt="二次元，一个紫色短发小女孩，在家中沙发上坐着，双手托着腮，很无聊，全身，粉色连衣裙", # 设置正向提示词，用于指导模型生成图像的内容
    negative_prompt="丑陋、变形、嘈杂、模糊、低对比度", # 设置负向提示词，模型会避免生成包含这些特征的图像
    cfg_scale=4, # 设置分类自由度 (Classifier-Free Guidance) 的比例，数值越高，模型越严格地遵循提示词
    num_inference_steps=50, # 设置推理步数，步数越多，生成的图像细节越丰富，但生成时间也更长
    height=1024, width=1024, # 设置生成图像的高度和宽度，这里生成 1024x1024 像素的图像
)
image.save("1.jpg") # 将生成的图像保存为 "1.jpg" 文件


# 图像拼接，展示总体拼接大图
import numpy as np  # 导入numpy库，用于处理数组和数值计算
from PIL import Image  # 导入PIL库中的Image模块，用于图像处理
images = [np.array(Image.open(f"{i}.jpg")) for i in range(1, 9)]  # 读取1.jpg到8.jpg的图像，转换为numpy数组，并存储在列表images中
image = np.concatenate([  # 将四组图像在垂直方向上拼接
    np.concatenate(images[0:2], axis=1),  # 将第1组（images[0:2]）的两张图像在水平方向上拼接
    np.concatenate(images[2:4], axis=1),  # 将第2组（images[2:4]）的两张图像在水平方向上拼接
    np.concatenate(images[4:6], axis=1),  # 将第3组（images[4:6]）的两张图像在水平方向上拼接
    np.concatenate(images[6:8], axis=1),  # 将第4组（images[6:8]）的两张图像在水平方向上拼接
], axis=0)  # 将四组拼接后的图像在垂直方向上拼接
image = Image.fromarray(image).resize((1024, 2048))  # 将拼接后的numpy数组转换为图像对象，并调整大小为1024x2048像素
image  # 输出最终生成的图像对象，用于显示图像

2 . 3 执行过程

       向通义提问

         通义返回的结果

 3 . 向AI追问

         在刚刚逐行解析结果页后面继续追问，如图，通义给了我们更加细致的问题解释

我对其中{替换成你的问题}还是不太理解，给我再详细介绍一下

  step 3 : 基于话剧的连环画制作

1 . 数据准备

1 . 1 提示词

你是一个文生图专家，我们现在要做一个实战项目，就是要编排一个文生图话剧
话剧由8张场景图片生成，你需要输出每张图片的生图提示词

具体的场景图片
1、女主正在上课
2、开始睡着了
3、进入梦乡，梦到自己站在路旁
4、王子骑马而来
5、两人相谈甚欢
6、一起坐在马背上
7、下课了，梦醒了
8、又回到了学习生活中

生图提示词要求
1、风格为古风
2、根据场景确定是使用全身还是上半身
3、人物描述
4、场景描述
5、做啥事情

例子：
古风，水墨画，一个黑色长发少女，坐在教室里，盯着黑板，深思，上半身，红色长裙

1 . 2 询问通义

自己在通义的返回的基础上，多多调整，争取打磨出一个最佳的提示词

1 . 3 最后的话剧场景

       结合AI内容，自己在AI结果上做一些调整，最终整理出来场景表格

       示例如下：

 2 . 执行Task1的 Baseline 初体验

      tsak 1 笔记链接：Datawhale X 魔搭 AI夏令营 – AIGC文生图方向Task1笔记-CSDN博客

     直接执行 step 5 即可

3 . 提示词修改

       修改提示词

       提示词、图片名称设置好以后，点击执行按钮

4 . 示例结果展示

task 1 个人出图

1 . 个人场景表格

2 . 个人出图

task 2 知识–AI生图前沿

1 . 为什么要了解AI生图前沿？

       AIGC(AI-Generated Content)是通过人工智能技术自动生成内容的生产方式，很早就有专家指出，AIGC将是未来人工智能的重点方向，也将改造相关行业和领域生产内容的方式。

       AI生图则是其中最早被大众所熟知并广泛被认可的AIGC领域，首先我们来看一个新闻(原文入口)——

      AI生成图片的快速发展，使诸多领域措手不及，如：摄影、美术等艺术领域正在面临前所未有的颠覆。我们所认为的“有图有真相”，甚至理解的现实也将不断被挑战…

       插入一段小常识，提醒大家警惕Deepfake技术

       Deepfake是一种使用人工智能技术生成的伪造媒体，特别是视频和音频，它们看起来或听起来非常真实，但实际上是由计算机生成的。这种技术通常涉及到深度学习算法，特别是生成对抗网络（GANs），它们能够学习真实数据的特征，并生成新的、逼真的数据。

       Deepfake技术虽然在多个领域展现出其创新潜力，但其滥用也带来了一系列严重的危害。在政治领域，Deepfake可能被用来制造假新闻或操纵舆论，影响选举结果和政治稳定。经济上，它可能破坏企业形象，引发市场恐慌，甚至操纵股市。法律体系也面临挑战，因为伪造的证据可能误导司法判断。此外，深度伪造技术还可能加剧身份盗窃的风险，成为恐怖分子的新工具，煽动暴力和社会动荡，威胁国家安全。

       由此衍生的Deepfake攻防技术，我们在今年夏令营的第二期中，有组织学习活动，具体可以查看：从零入门CV图像竞赛(Deepfake攻防)

对所有人来说，定期关注AI生图的最新能力情况都十分重要：

• 对于普通人来说，可以避免被常见的AI生图场景欺骗，偶尔也可以通过相关工具绘图

• 对于创作者来说，通过AI生图的工具可以提效，快速制作自己所需要的内容

• 对于技术人来说，了解AI生图的能力的玩法，可以更好地针对自己的业务进行开发和使用，甚至攻克难题开发更实用的工具

  扩展：
  【认知计算】Deepfake/Anti-deepfake综述探究-CSDN博客

2 . 从工具视角回顾AI生图的历史

        最早的AI生图可追溯到20世纪70年代，当时由艺术家哈罗德·科恩（Harold Cohen）发明AARON，可通过机械臂输出作画。

       现代的AI生图模型大多基于深度神经网络基础上训练，最早可追溯到2012年吴恩达训练出的能生成“猫脸”的模型。

       它使用卷积神经网络（CNN）训练，证明了深度学习模型能够学习到图像的复杂特征。

       2015年，谷歌推出了“深梦”（Deep Dream）图像生成工具，类似一个高级滤镜，可以基于给定的图片生成梦幻版图片——

       2021 年 1 月 OpenAI 推出DALL-E模型（一个深度学习算法模型，是GPT-3 语言处理模型的一个衍生版本），能直接从文本提示“按需创造”风格多样的图形设计——

       在当时，就已经被一些媒体评价为：“ 秒杀50%的设计行业打工人应该是没有问题的，而且是质量和速度双重意义上的“秒杀” ”。

       一般来说，AI生图模型属于多模态机器学习模型，通过海量的图库和文本描述的深度神经网络学习，最终的目标是可以根据输入的指示(不管是文本还是图片还是任何)生成符合语义的图片。

       插入一个小八卦

       AI生图在很长一段时间很难被人们所广泛接纳，一方面是生成的内容没有可用的生产场景，还有很大程度可能是由于“恐怖谷效应”——

        其核心观点是：随着仿真物(如机器人、玩偶等)模拟真实性程度的变化，人们对其亲和力也会产生变化，一般规律是亲和力随着仿真程度增高而增高，但当仿真程度达到一个临界点时，人的亲和反应会陡然跌入谷底，突然产生排斥、恐惧、困惑等负面心理。 

       通过学习大量画家的作品，AI生图模型 往往可以照猫画虎绘制出类似的画作，在2022年8月，AI生图真正走进了大众的视野，让各个领域无法忽视。

       当时让AI生图破圈的是AI绘画作品《太空歌剧院》，该作品在美国科罗拉多州举办的新兴数字艺术家竞赛中获得了比赛“数字艺术/数字修饰照片”类别一等奖，引起了当时“艺术家们 Not Happy”的社会舆论。

扩展 1 ：  

数字之美：探索人工智能绘画的奇妙世界_aiva 原理-CSDN博客

扩展 2 : 

生成对抗网络（GAN）-CSDN博客

扩展 3 :

【深度学习 | 风格迁移】神经网络风格迁移，原理详解&附详细案例&源码-CSDN博客

扩展 4 ：

       “恐怖谷”理论最早是1970年由日本机器人专家森政弘提出的，当机器人与人类的相似度极低（如图，工业机器人）时，人们对它没有太多的情感反应；当这些非人的物体开始被赋予一些人类的特征，在外形和动作上同人类逐渐接近时（如图，人形机器人），人们对它的亲近感和好感度会逐渐增加；但当它与人类相像超过一定程度，人们对它的好感反而会下降，呈现一个情感反应的低谷，即“恐怖谷”；当它与人类的相似度继续上升，人们对它的好感会再次回到正面。

       解释“恐怖谷”效应成因的角度很多，这里主要介绍最核心的三种。

       一种解释是“认知失调”，简单来讲，就是“预期”和“真实”情况不一致导致认知冲突。当类人物体和人类的相似度很高时，我们潜意识里会把它视为我们的一员，而对于我们人类来讲，每天接触各种各样的人，人是什么样子的，能长成什么样子，应该有怎样的动作表情，我们都很清楚；当它有任何不像人的地方时，我们很容易就能察觉，并和我们本来的预期产生了矛盾，我们无法马上解决这种矛盾时，内心的不舒适甚至不安和恐惧就发生了。 

       2011年，加州大学圣地亚哥分校的认知科学家艾斯•塞金（Ayse Saygin）通过脑成像实验发现，人们在观看仿真机器人的活动影像时，大脑与运动感知相关的区域活动会比观看人类和普通机器人更加活跃。因为当我们看普通机器人和人类活动时，他们的外观会帮助我们提前预测他们的运动方式，而实际看到的结果就如我们预期的一样。仿真机器人却不同，他们外观酷似人类，动作却和机器人相同，这在我们头脑中造成了与预期不符的矛盾，从而要调动更多的大脑区域来协调这些矛盾。这一结果正好可以佐证“认知失调”这一解释。

       还有一种解释是“共情抑制”，即当我们看到一个既像人又不像人的个体时，无法很好地感受和理解对方的情绪和情感状态，我们的“共情”能力出现了障碍，这让我们感觉很不舒服。

       2007年，在日本京都国际电气通信基础技术研究所工作的蒂埃里•查米纳德（Thierry Chaminade）和他的同事做了一项研究，他们给参与研究的志愿者播放了一组拟人度不同的电脑合成角色，同时对这些志愿者的脑部进行核磁共振扫描。结果显示，当志愿者看到拟人程度很高的角色时，脑中负责心理化（Mentalizing）的区域活动会明显增强。所谓心理化，包含理解他人情感的能力。这一区域活动增强说明人们在理解那些高拟人程度角色的情绪/情感时出现了困难，这在一定程度上支持了“共情抑制”的解释。

       也有一些研究人员会从“进化选择”的角度进行解释，指出人类会从本能上排斥那些看起来不太正常的、病态的个体，以此来保护自己，而这些不正常、病态的特征通常都是由面部和肢体表现出来的。所以当我们看到那些看似逼真，却面色惨白、表情僵硬、动作机械的仿真机器人时，会不自觉地联想到“不健康”、甚至“死亡”，这时候就会产生不适、反感甚至恐惧的感觉。 

3 . AI生图的难点和挑战有哪些？

       往前一年，AI绘画还不会画“手”——

        也因为当时这个情况，产生了很多解决这个问题的相关技术，如：给图片里的人手打上标记，像把手掌、拇指、食指啥的，都给清楚地标出来；

       我们现在还可以经常在各类自媒体的文章中看到“AI翻车”的案例，那些往往也是需要解决的难点，某些“翻车”现象，也许在业界已有相关的解决方案。

       通俗来说，AI生图模型获得图片生成能力主要是通过 学习 图片描述 以及 图片特征，尝试将这两者进行一一对应，存储在自己的记忆里。

       在我们需要的时候，通过输入的文字，复现出来对应的图片特征，从而生成了我们需要的图片。

       关于AI是否真正理解了图片背后所代表的世界的特征，是否理解了图片的含义，这个一直是科研界和产业界存在争议的话题，我们唯一可以确定的是——由于每个模型用于训练的数据是有限的且不一定相同的，它们能匹配的描述和特征也是有限的，所以在风格、具体事物上，不同的模型会有很大的生成差异，且可能存在诸多与现实不符的情况。

        而这些问题，就是业界和科研界持续在想办法解决的问题。

       目前已经应用AI生图的行业主要有电商、游戏、设计等，在大部分生图场景下，我们可能经常会觉得图片存在“AI味”，这很长一段时间也是科研界和相关从业人员非常头大的问题。

AI味：AI生成的图片和实际生活场景/艺术家创作的绘画/摄影/三维作品 相比，存在强烈的违和感，或是细节处理，或是画面逻辑性存在问题，一言就能被看出是“AI出品”

       目前大部分的模型，已经具备了去除 “AI味” 的能力，且可能存在容易误导他人的情况，这时候我们想辨别可能需要非常仔细地——

• 观察图片的细节。仔细检查人物的面部特征，尤其是眼睛和嘴巴

• 检查光线和阴影。分析图片中的光源是否一致，阴影的方向是否与光源相符，是否存在不自然的光线或阴影

• 分析像素。放大图片，寻找是否有模糊或像素化的部分。

• 注意背景。检查背景中是否有不协调的元素，比如物体边缘是否平滑，背景中是否有不自然的重复模式。

       而这些细节上的AI特性，也许就是我们在某些特定场景下需要解决的挑战。

文章来源于互联网:Datawhale X 魔搭 AI夏令营 – AIGC文生图方向Task2笔记