如何用自己的脸在stable diffusion出图?(专属Lora模型训练)

你是否曾经想要将自己的头像转化成Stable Diffusion(SD)风格的图像?如果是的话,今天你来对了地方。本文将介绍如何使用Textual Inversion技术来训练你的头像,学习SD的embedding功能,以实现生成自己头像的效果。

我是Stable Diffusion中文网的小编,非常高兴为你带来这个有趣而又创新的教程。

757b68385b5815f6f54216aec9aa3e19

功能简介

1. 价值

在介绍如何实现这一目标之前,让我们先来了解一下Textual Inversion技术和SD的embedding功能有什么价值。一方面,这项技术能够让你的文件保持相对较小,同时能够同时调用多个文件来进行训练。这对于需要处理多个风格或特点的图像素材非常有用。

2. 简述

通常情况下,SD中的模型或checkpoint文件都相当庞大,且每次生成图像时只能使用其中一个模型。但如果你希望一次性混合多种风格,那么可以使用embedding功能来实现这一目标。每个embedding文件都与一个或多个关键词(trigger words)相关联,你可以在prompt中使用这些关键词来激活相应的embedding文件。每个embedding都是基于特定的模型生成的。如果你下载的embedding是基于SD1.5模型训练的,那么它只能在SD1.5模型上生效。这些训练好的embedding文件通常以(.pt)格式保存,它们非常小,每个只有几兆字节或几十千字节的大小。

如何训练

现在,让我们来看看如何训练你的头像,以便在Stable Diffusion中生成图像。

1. 准备基础素材

首先,你需要收集10到20张能够体现你面部特征的照片素材。这些照片可以包括不同的表情、角度和背景,以便能够捕捉到你的多种特点。

2. 优化素材精度

为了提高素材的精度,你可以使用SD提供的工具,在”Extras/Batch Process”下选择”Scale by”的选项,比如”upscale1:SwinIR 4x”。这可以确保你的素材质量更高。

3. 剪裁素材尺寸

将素材剪裁成正方形1:1的尺寸,通常是512 x 512像素。你可以使用在线图片剪裁工具来完成这一步骤。

4. 设置输入输出

将准备好的训练素材放入一个输入文件夹,同时建立一个空的输出文件夹,用于预处理时输出素材。

5. 预处理的设置

  • 设置输入和输出文件夹的路径。
  • 勾选“Create flipped copies 生成镜像副本”。
  • 勾选“Use BLIP for caption”或“Use deepbooru for caption”。

6. 创建embedding

在训练/生成embedding部分,设置一个你喜欢的名字用于保存命名。请注意,只能使用英文,尽量选择一个独特的名称,以避免与prompt中的其他关键词重复。

7. 训练

在训练设置中:

  • 选择你之前创建的embedding文件。
  • 设置渐进式学习率,如0.05:10, 0.02:20, 0.01:60, 0.005:200, 0.002:500, 0.001:3000, 0.0005。
  • 根据你的显存情况,调整Batch size。
  • 设置数据集目录。
  • 选择一个prompt模板,建议自建一个新模板,只输入:a photo of [name], [filewords]。
  • 设置分辨率,根据显存大小选择512×512。
  • 设置训练步数,显存较小的情况下,建议3000步就可以了。
  • 设置每多少步保存一个测试图片和embedding文件,建议刚开始训练,50步就可以看下情况。
  • 点击”训练Embedding模型”,训练时间较长,根据机器硬件性能不同,可能需要几个小时。

如何应用

现在,你已经成功训练了自己的embedding文件,接下来可以将其应用于生成Stable Diffusion图像。

在prompt输入框中,添加你的embedding文件名称,就可以应用了。根据需要,你还可以输入多个embedding文件名称标签和程度值来进行混合,比如:({embedding文件名称A}:0.4),({embedding文件名称B}:0.6)。这将让你更灵活地控制生成的图像风格。

希望这篇文章对你有所帮助,让你能够在Stable Diffusion中创造出独特的、个性化的图像!如果你有任何问题或需要进一步的帮助,请随时联系我们。我们期待看到你的创作!

原创文章,作者:SD中文网,如若转载,请注明出处:https://www.stablediffusion-cn.com/sd/sd-use/4184.html