아이디어
- (오른쪽 위) 노이즈가 제거되지 않은 베이스 모델
- 노이즈 제거
- 소묘, 웹툰 캐릭터, 등 다양한 스타일의 스케치 모델
video demo1
video demo2
도전과제
이번 프로젝트의 큰 과제는 어떻게 개인정보를 학습/추론 단계에서 배제하며 학습데이터를 확보할 것인가, 또한 대용량 모델과 대용량 데이터를 어떻게 빠르게 발전할 것인가 두 가지 였습니다.
- 개인정보 배제하기
- StyleGAN을 활용하여 가상인물의 이미지와 그의 스케치를 생성했습니다.
- CV기술을 활용, 노이즈를 제거해 소묘 스타일의 모델을 완성했습니다.
- 조금 더 캐릭터스러워 지도록, 사람을 식별하는 구체적인 특징을 제거하고, 캐릭터의 특성을 살리는 방향으로 진행했습니다.
- 모델을 빠르게 발전시키기
- 테라바이트 단위의 영상 데이터, 그리고 당시 거대 모델이었던 U-2 Net을 V100 GPU에서 한 사이클 학습하는 데에만 48시간이 소요됩니다.
- 키프레임 추출 알고리즘을 통해 데이터를 최소화하고, 분산 학습 시스템을 구축했습니다.
- 본격적인 학습에 앞서 모델의 성능을 사전에 평가할 수 있도록 U-2 Net Mini 버전, Mini-batch 학습데이터를 만들었습니다.
- 이를 통해 4대의 V100 GPU 서버에서 최대 48개의 실험을 동시에, 4시간 안에 진행할 수 있었고, 다양한 스타일의 모델을 순차적으로 발전해나갈 수 있게 되었습니다.
첨언