SD Forge-사진을 스케치한 것처럼 (feat.ControlNet Canny)

넥플릭스 드라마 <아무도 없는 숲속에서> 고민시 배우님 되시겠다.

연기가 너무 인상에 남아 오늘 포스트에 인물로 선정해 보았다.

 

SD Forge의 Controlnet 중 Canny를 활용하여

손그림 그린 듯한 스케치 사진으로 한번 옮겨 보는 방법을 알아보도록 하겠다.

 

 

모델과 프롬프트는 아래와 같이 설정했다.

 

Checkpoint : dreamshaper_8

Postive Prompt :

(high quality), a line drawing,  lineart, linework

 

인물스케치 처리를 위해서는 txt2img가 아니라 img2img를 선택한다.

 

 

Generation > img2img를 선택한 후, 사진과 동일한 흰색 바탕의 이미지를 넣어줘야한다.

우선 스케치할 이미지의 속성 창을 통해 폭과 높이를 확인한다.

고민시 배우님 사진은 네이버인물사전에서 받았는데 폭과 높이가 768 x 976 이다.

 

 

필자는 picpick이라는 프로그램을 사용한다.

picpick을 이용하면 아래와 같이

원하는 사이즈의 흰색 배경이미지를 쉽게 만들 수가 있다.

 

생성한 이미지를 아래와 같이 업로드해준다.

 

스크롤을 내려서 아래 탭을 확인해 보면 ControlNet Integrated 라는 탭을 확인할 수 있다.

이걸 클릭하자.

 

 

아래 그림과 같이 Enable, Upload independent control image, Canny를 선택한다.

Pixel Perfect 와 Allow Preview도 선택한다.

 

스케치를 추출할 이미지를 넣어준다.

 

그리고 Prepocessor에 canny가 선택되어 있을 거고 옆에는 Model이 있을 것이다. 별도의 모델이 없다면 None으로 되어 있을 것이다. 아래 주소로 접속해서 model을 받도록 하자.

 

https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/main

lllyasviel/ControlNet-v1-1 at main

 

파일이 어마무시하게 많을 것이다. 미래를 위해 다 받아도 되지만 우선 이번 포스트에 사용할 것만 받아보자

_canny가 붙어있는 파일을 내려받자.

 

오늘 강좌에 사용할 checkpoint를 civitai에서 확인해 보자.

아래 붉은 상자 안에 SD1.5가 보일 것이다.

지금 내려받은 파일은 control_v_11p_sd15_canny.pth 이다.

숫자가 일치하는 모델에서는 정상 동작하나 Basemodel 이 SD 1.5가 아닌 경우에는 오류가 발생한다는 점 유의하자.

checkpoint의 baseModel을 잘 확인하길 바란다.

 

내려받은 파일은 webui > model > ControlNet 으로 옮겨두자.

 

 

 

1) referesh 버튼을 누른다.그러면 Model 콤보박스에 지금 내려받은 파일을 선택할 수가 있다.

2) 버튼을 클릭하면 뭔가 계산을 계속 하는 걸 확인할 수가 있을 것이다.

 

정상적인 처리가 되었다면 아래와 같이 이미지 옆에 가느다란 선으로 검은바탕에 뭔가 그려진 것을 확인할 수 있을 것이다.

 

아래 Control Mode를 ControlNet is more important를 선택한다.

 

그리고 위에 Denoising strength가 보이는데 0.6으로 주도록하자.

Denosing strength는 주어진 이미지를 얼마큼 변형할지에 대한 값이다.

Canny를 활용한 손그림 그리기의 경우에는 사실상 위의 검은 바탕의 그려진 하얀 선에 따라서 작업이 이뤄지는 거라

이 값이 크더라도 기본적인 윤곽에는 많은 변형이 되지 않는다. 하지만 바탕화면에 처리되는 색감이 조금씩 달라진다.

 

우선 여기까지 진행하고 Generate 해보자.

 

Denosing strength에 따라서 달라지는 그림체는 아래와 같다. 0.8~0.9가 가장 손그림 같은 느낌을 주고 원래 이미지와 유사한 느낌을 준다. 1을 주게 되니 조금 더 살제 사람을 그린 것 같지만 변형이 심해서 원래 사진의 인물과는 조금 더 차이가 나는 모습을 확인할 수가 있다.

 

다른 연예인들이나 다른 동작을 하는 인물에 대해서 한번 테스트를 해 보길 바란다.