LoRa 이용한 시퀀스 이미지 만들기

우선 LoRa 의 설치방법은 아래 링크를 참고

https://github.com/bmaltais/kohya_ss#windows

GitHub - bmaltais/kohya_ss

- 파이썬 3.10, Git,  Visual Studio 설치가 선행되어야 한다

 

1. 학습 시킬 이미지 준비 후 빈 폴더에 넣어준다

학습에 사용된 것은 아니고 예시 이미지

 

2. 학습 전 텍스트 캡션 

Utilities 탭 > BLIP Captioning 으로 가서 이미지 경로를 넣어준 뒤 캡션을 해준다

그럼 다음과 같이 이미지와 같은 네이밍의 txt 파일이 생기는데, 생성된 txt 앞에 이름을 지어 넣어준다

그리고 다음과 같이 image, model, log 라는 폴더를 만들어 준다

imgae 폴더 안에는 캡션 이미지에 대한 폴더를 하나 만들어주고, 기존 이미지와 txt 파일들을 넣어준다

폴더 앞의 숫자 150 은  최대 트레이닝 값을 이미지 개수로 나눠준 결과 (600/4)

 

3. 로라 학습

LoRa 탭에서 모델을 선택해주고 Training을 해준다 (일반적으로 많이 쓰는 1.5v 모델을 사용)

Folder 탭에서 만들어 둔 Image, Model, Log 폴더를 지정해준다

Parameter 탭에서 메모리 효과버튼과 그라디언트 체크 포인트를 체크

Start Training 을 눌러 학습 진행

학습이 완료되면 Model 폴더에 로라가 생성됨

파일명을 바꿔 스테이블 디퓨전의 models > Lora 폴더로 이동시킴

 

4. 사용

스테이블 디퓨전의 8광 아이콘을 클릭 후 로라 탭에서 만들어준 모델을 클릭하면 학습된 모델이 프롬프트로 들어가게 됨