[ControlNet] 틀린 그림 찾기, 아니 만들기

자 지금부터 틀린 그림 찾기
게임을 시작하지 

오늘도 스테이블 디퓨전(Stable Diffusion)에 컨트롤넷(ControlNet) 활용기를 가져와 보았습니다. 좌측이 입력 이미지, 우측이 출력 이미지입니다. 깊이 지도(Depth Map)을 이용한 이미지 스타일을 복사하여 AI 이미지 만들기는 이전에 설명했으니 아래 링크를 참고해주세요.

 

[링크] https://ai-x.tistory.com/21

[ControlNet] 깊이(depth) 정보를 복사하여 AI 이미지 만들기

 

순서를 요약하면 다음과 같습니다

1. 원본 이미지를 준비합니다.
2. 컨트롤넷을 통하여 깊이지도(depth map)를 추출 합니다.
3. 스테이블 디퓨전에 복원(inpaint) 기능을 통해 변경할 영역을 마스킹합니다.
4. 적절한 프롬프트를 입력하여 [Generate] 버튼을 클릭합니다.
5. 이게 한번에 잘 안나오니, [Send to inpaint]를 클릭하여 다시 원본으로 보내 마스킹 및 생성 작업을 반복합니다.

 

한 스텝씩 따라가 보겠습니다.

1. 원본 이미지를 넣습니다.

 

2. 컨트롤넷을 통하여 깊이지도(depth map)를 추출 합니다.

- Enable에 체크, Preprocessor : depth, Model : control_sd15_depth 로 잘 세팅이 되었는지 체크합니다.

 

3. 스테이블 디퓨전에 복원(inpaint) 기능을 통해 변경할 영역을 마스킹 합니다.

- 소파 뒤에 벽을 칠했습니다.

4. 적절한 프롬프트를 입력하여 [Generate] 버튼을 클릭합니다.

- 여기서는 many art wall 이라고 입력하였습니다.

- 괜찮게 나온 것 같습니다.

5. 이게 한번에 잘 안나옵니다. 프롬프트 탓입니다. [Send to inpaint]를 클릭하여 다시 원본으로 보내 다른 영역의 가구들도 마스킹 해보면서 변형을 시도합니다.
- 마음에 드는 이미지가 나올 때 까지 [Generate]을 클릭합니다.
- 어느정도 되면 [Send to inpaint]로 보내어 고정시키고 다른 영역을 마스킹 해서 변경해봅니다.
- 뽑고 다시 넣고, 또 뽑고 마치 담금질을 하는 것 같습니다.

 

마스킹 하고 생성하고, 마음에 드는 이미지가 나올때까지 생성하고, 다시 가져와서 마스킹 하고 이 작업의 반복입니다. 방망이 깍던 노인의 정신으로 해야합니다.

 

어렵지 않죠?

 

<끝>

 

비밀

1. 사실 원본은 벽에 액자 하나만 있던 거였어요.

 

2. 뭐가 다른지 틀린그림을 찾아보세요. 찾으신 분께는 스트로베리 라떼를 선물로 드립니다.
(스디 선생이 만들어준 베리베리 라떼, https://ai-x.tistory.com/22)