StyleGAN(2018) --> StyleGAN2(2019) --> StyleGAN2-ADA(2020) --> StyleGAN3(2021)

이전 포스트 StyleGAN에 대해 논문리뷰를 했습니다.

StyleGAN 논문을 보다가 발전된 것을 찾아보니 아래 순서로 발전되었다는 것을 알게되었습니다.

 

 

올해말까지 StyleGAN3까지 논문 리뷰를 하는 것을 목표로 두고 StyleGAN version은 천천히 포스트 해보려고합니다.

 

궁금하신 분들은 아래에 논문 링크를 정리해두었으니 읽어보시면 좋을 듯합니다.

 

StyleGAN(2018)

논문 https://arxiv.org/abs/181204948

• TensorFlow implementation: https://github.com/NVlabs/stylegan

 

 

StyleGAN2(2019)

논문 https://arxiv.org/abs/191204958 

• TensorFlow implementation: https://github.com/NVlabs/stylegan2

 

StyleGAN2-ADA(2020)

논문 https://arxiv.org/abs/200606676 

• PyTorch implementation: https://github.com/NVlabs/stylegan2-ada-pytorch
• TensorFlow implementation: https://github.com/NVlabs/stylegan2-ada

 

StyleGAN3(2021)

논문 https://arxiv.org/abs/210612423

• PyTorch implementation: https://github.com/NVlabs/stylegan3

 

각각의 특징을 간단히 정리하자면

styleGAN(2018)은 고해상도의 이미지를 합성하는 것을 특징으로 두고 있으며,

styleGAN2(2019)는 styleGAN으로 합성된 이미지에 나타나는 물방울 아티팩트를 처리하는 것을 특징입니다.

styleGAN2-ADA(2020)는 제한된 데이터로 GAN을 훈련하는 방법을 설계하는 것이 특징이고

styleGAN3(2021)은 styleGAN2 모핑 전환에서 발생하는 텍스처 고착 문제를 해결하는 것 (자연스러운 전환 효과를 만들기)이 특징입니다.

 

---

StyleGAN2(2019)에 대한 overview 를 작성하고 마치도록 하겠습니다.

 

 

기존 StyleGAN에는 blob-like artifact(물방울 모양이 생기는 문제)와 phase artifact(얼굴의 특정 부분이 고정 포지션을 갖는 문제)라는 문제를 가지고 있었습니다. 이를 styleGAN2에서 개선하였습니다.

 

해당 논문에서는 기존 styleGAN의 문제점을 지적하면서 blob-like artifact 문제의 원인) AdaIN style transfer이고 phase artifact 문제의 원인) Progressive growing 이라고 주장하였습니다.

 

AdaIN style transfer(왼) phase artifact(오)

 

이 두가지 문제를 개선한 것만 아니라 StyleGAN2에서는 성능도 개선하였는데

 

성능을 개선하기 위한 방법으로 경로 길이 정규화와 이미지를 latent vector로 inversion 하는 새로운 알고리즘 제안하였습니다. 여기서 경로 길이 정규화는  W 스페이스에서 고정된 만큼 latent vector를 이동시키면 → 이미지 스페이스에서도 고정된 만큼 이동될 것이라는 아이디어이고 결과적으로 이미지가 부드러운 변화를 보이게 하였습니다. 

 

더 자세한 내용은 다음 StyleGAN2 논문 리뷰에서 작성하도록 하겠습니다.