stablediffusion训练LoRA模型

SD中文网 • 2023年9月19日 am8:00 • 模型 • 阅读 2520

stablediffusion训练LoRA模型

LoRA（Low-rank adaptation）是一种用于微调大型模型的技术。通过使用LoRA，生成的模型训练时间更短，生成的文件更小。

DreamBooth中的LoRA

DreamBooth集成了LoRA，可以作为Stable Diffusion WebUI的扩展功能进行安装。

LoRA_Easy_Training_Scripts

LoRA_Easy_Training_Scripts是一种本地训练工具，支持Linux和Windows系统。

对于使用Google Colab的用户，可以使用Linaqruf/kohya-trainer来更轻松上手。Reddit上有一张图解教程。

安装环境

以下以Ubuntu为例，介绍如何安装LoRA Easy Training Scripts。

1. 安装Anaconda，并创建虚拟环境：

conda create --name loratraining python=3.10.6

conda activate loratraining

1. 拷贝保存库：

git clone https://github.com/derrian-distro/LoRA_Easy_Training_Scripts.git

cd LoRA_Easy_Training_Scripts

git submodule init

git submodule update

cd sd_scripts

pip install torch torchvision --extra-index-url https://download.pytorch.org/whl/cu116

pip install --upgrade -r requirements.txt

pip install -U xformers

1. 设置加速选项：

accelerate config

依次回答以下问题：

– This machine

– No distributed training

– NO

– all

– fp16

LoRA的训练数据目录结构与常规训练不同，需要按照以下方式创建目录结构：

将已经添加好提示词的训练数据放在img_dir目录下，目录名称取名为数字_概念，数字代表要重复的步数。

1. 添加训练设置档trainingconfig.json：

在LoRA_Easy_Training_Scripts目录下创建trainingconfig.json文件，并填入以下内容：

{
"pretrained_model_name_or_path": "/home/user/桌面/heralora/anything-v4.5-pruned.ckpt",
"v2": false,
"v_parameterization": false,
"logging_dir": "/home/user/桌面/heralora/log_dir/",
"train_data_dir": "/home/user/桌面/heralora/image_dir/",
"reg_data_dir": "/home/user/桌面/heralora/reg_dir/",
"output_dir": "/home/user/桌面/heralora/output_dir",
"max_resolution": "512,512",
"learning_rate": "1e-5",
"lr_scheduler": "constant_with_warmup",
"lr_warmup": "5",
"train_batch_size": 3,
"epoch": "4",
"save_every_n_epochs": "",
"mixed_precision": "fp16",
"save_precision": "fp16",
"seed": "",
"num_cpu_threads_per_process": 32,
"cache_latents": true,
"caption_extension": ".txt",
"enable_bucket": true,
"gradient_checkpointing": false,
"full_fp16": false,
"no_token_padding": false,
"stop_text_encoder_training": 0,
"use_8bit_adam": true,
"xformers": true,
"save_model_as": "safetensors",
"shuffle_caption": true,
"save_state": false,
"resume": "",
"prior_loss_weight": 1.0,
"text_encoder_lr": "1.5e-5",
"unet_lr": "1.5e-4",
"network_dim": 128,
"lora_network_weights": "",
"color_aug": false,
"flip_aug": false,
"clip_skip": 2,
"mem_eff_attn": false,
"output_name": "",
"model_list": "",
"max_token_length": "150",
"max_train_epochs": "",
"max_data_loader_n_workers": "",
"network_alpha": 128,
"training_comment": "",
"keep_tokens": 2,
"lr_scheduler_num_cycles": "",
"lr_scheduler_power": "",
"persistent_data_loader_workers": true,
"bucket_no_upscale": true,
"random_crop": false,
"caption_dropout_every_n_epochs": 0.0,
"caption_dropout_rate": 0
}