SD Forge - LoRA & 업스케일링

SD Forge로 나의 블로그 메인에 넣을 이미지를 하나 생성하려고 한다.

이번에는 LoRA를 활용해서

이미지에 화풍을 적용할 생각이다. 그리고 업스케일링을 적용해서 큰 사이즈의 이미지로 변환하려고 한다.

 

Checkpoint :

autismmixSDXL_autismmixPony.safetensors

 

Positive Prompt :

score_9, score_8_up, score_7_up, score_6_up, score_5_up, <lora:c0mpXLP:0.7> c0mp, indoors, empty chair, monitor, desk, from behind, keyboard (computer), night, neon,

 

Negative Prompt :

bad quality, bad anatomy, worst quality, low quality, low resolution, extra fingers, blur, blurry, ugly, wrong proportions, watermark, image artifacts, lowres, ugly,  jpeg artifacts, deformed, noisy image, deformation, skin moles, human

 

원룸에서 컴퓨터를 하는 뒷모습이 나오는 이미지를 그릴려고 했는데

일반적인 프롬프트를 사용하면 원하는 이미지가 잘 나오질 않았다. 그래서 Civitai를 검색해 보니

내가 원하는 이미지를 잘 그려주는 LoRA가 있어서 해당 LoRA를 받아서 적용해 보았다.

위의 프롬프트에서 주황색으로 적용된 부분이 LoRA이다.

 

LoRA(Low-Rank Adaptation)

간단하게 이미지에 화풍을 적용하는 것이다.

Civitai 에 접속해서 필터에 LoRA만 선택해서 검색을 해 보면 아래와 같은 이미지를 볼 수가 있다.

LoRA를 적용하면 아래 그림처럼

동양풍의 그림, 선만 그려진 그림, 귀여운 그림체, 3d 렌더링된 스타일 등등

다양한 화풍의 그림으로 변환해서 그릴 수가 있다.

 

내가 선택한 LORA는 보는 바와 같이 컴퓨터를 하는 책상에서 앉아있는 뒷모습이 잘 그려지는 LoRA이다.

https://civitai.com/models/454079/backgrounds-for-pony

Backgrounds For Pony - Computer Desk | Stable Diffusion LoRA | Civitai

 

로라를 적용하는 방법은 아주 간단하다.

 

우선 LoRA 파일을 다운로드한다. 다운 받은 파일을

 

SD Forge 설치경로 > webui > models > Lora 폴더에 등록한다.

 

 

 

LoRA를 다운받은 주소에서 예시 이미지를 마우스 우클릭해서 다른 이미지로 저장을 한 다음

아까 LoRA파일을 옮긴 곳으로 저장을 한다.

 

그리고 저장된 파일명을 LoRA 파일명과 동일하게(확장자는 제외) 만들어준다.

 

아래와 같이 Lora(빨간색 박스로 표시한 부분)을 클릭하면 로라 파일이 보일 것이다.

만약 보이지 않는다면

아래 노란 박스로 표시한 부분을 다시 클릭해 보길 바란다.

 

 

LoRA를 프롬프트에 적용하는 방법은 간단하다. LoRA탭에서 표시되는 이미지를 클릭하면

프롬프트에 바로 적용이 되고 한번 더 클릭하면 해제가 된다.

<lora:c0mpXLP:1>

여기서 중요한거는 뒤에 숫자인데 해당 숫자는 LoRA를 얼마만큼 적용할 것인지를 물어보는 것이다.

0부터 시작해서 0.1씩 증가해서 1까지 입력할 수 있다.

필자는 0.7 정도를 적용한 후에 이미지를 생성했다.

 

 

 

마음에 드는 이미지가 나왔다. 그런데 사이즈가 블로그 메인에 적용하기에는 좀 작은 감이 있다.(512x1024)

SD Forge에는 이렇게 사이즈가 작게 나온 이미지를 고화질로 변경해주는 기능이 있다.

Extras 탭에 사이즈를 늘리고자 하는 이미지를 드래그앤드랍으로 넣는다.

 

현재 이미지가 512 x 1024 인데 사이즈를 2배로 늘리고 싶다면 아래 Scale by 탭에 Resize 값을 2로 변경해주면 된다.

 

Upscaler 1의 라디오버튼을 클릭하면 여러 종류의 업스케일러가 있는데

 

R-ESRGAN 4x+를 추천한다. 나머지는 스케일러는 효과가 그리 좋지가 않다.

 

내가 넣은 이미지는 만화이기 때문에 R-ESRGAN 4x+ Anime6B로 선택했다.

 

혹시 업스케일링할 이미지가 실사라면 Anime6B가 빠진 스케일러를 선택하면 되겠다.

 

변환된 이미지 속성을 확인해 보면 너비와 높이가 딱 2배씩 증가된 걸 확인할 수가 있다.