초짜 대학원생의 입장에서 이해하는 Auto-Encoding Variational Bayes (VAE) (1)

* Auto-Encoding Variational Bayes, Diederik P. Kingma and Max Welling 2014를 바탕으로 한 리뷰

안녕하세요 오늘은 GAN 시리즈 대신 GAN 이전에 generative model계를 주름잡고 있었던 Variational Auto-Encoder a.k.a. VAE에 대해 살펴보겠습니다. 그동안 논문들을 보다보면 GAN과 VAE를 비교하며 어떤 차이점이 있는지에 대해 여러 차례 언급이 되었기에 제대로 보지는 않았는데도 익숙할 지경입니다.

원래 뭐든 이름을 제대로 알면 다 아는거라고 하죠? :) 그럼 이름에 왜 "Variational"이 들어가고 "Auto-Encoder"는 어떻게 쓰이는지 확인해보겠습니다.


일단 Variational Auto-Encoder(VAE)에 대해 좀 자세히 얘기를 하려면 그리고 "Variational"이 붙은 이유에 대해서 이해하기 위해서 약간의 history를 공부할 필요가 있습니다.

Taxonomy of deep generative models

Generative model의 taxonomy는 우리의 좋은 친구 Ian Goodfellow가 "NIPS 2016 Tutorial: Generative Adversarial Networks"에서 매우 잘 정리해주었습니다. 보시다시피 VAE는 GAN과는 다른 가지로 분류됩니다. 어떤 식으로 다른지에 대해 차근차근 살펴보겠습니다.

Taxonomy of deep generative models

가장 꼭대기 root에 있는 박스를 보시면, "Maximum Likelihood (ML)"라고 적혀있습니다. 이런 단순화는 언제나 위험하지만 결국 큰 범주에서 generative model이 하고자 하는 것은 ML의 원리를 바탕으로 학습을 해보자는 것으로 정리할 수 있습니다. 이 때 어떤 식으로 이 likelihood를 다루느냐(근사를 할 것이냐 혹은 정확히 표현할 것이냐)에 따라 다양한 전략들이 존재합니다.

먼저 크게 두 가지 방식으로 학습 전략이 나뉩니다. 위에 그림에서 왼쪽은 Explicit density, 오른쪽은 Implicit density라 적혀있죠. 그동안 공부했던 GAN은 오른쪽 가지에 해당하는 모델인 것을 보실 수 있습니다. 여기서 간접적인(Implicit) 방식이라 함은 보통 우리가 어떤 model에 대해 틀을 명확히 정의하는 대신 확률 분포를 알기 위해 sample을 뽑는 방법을 얘기하는데요 대표적으로 Markov Chain을 사용하는 방식이 있겠습니다. 우리가 알고있는 혹은 이미 얻은 sample $x$와 transition operator $q$가 주어졌을때, sample $x'$을 반복적으로 뽑다보면 결국에는 (일정 가정하에) $x'$이 $p_{model}(x)$로부터 나온 sample로 수렴한다는 것이 알려져 있습니다:
$$x'\sim q(x'|x)$$
또 다른 방식으로는 그동안 열심히 공부해 온 GANs가 있습니다. GANs가 강력한 이유는 어떤 확률 모델(density)을 굳이 명확히 정의하지 않아도 모델(generator) 자체가 만드는 분포로 부터 sample을 생성할 수 있고 MCMC와는 달리 별다른 input이 없이도 한 번에 sample을 생성할 수 있다는 것입니다.

한편 왼쪽 가지에 해당하는 학습 방법들은 $p_{model}(x;\theta)$와 같이 model을 명확히 정의하여 이를 최대화하는 전략을 택합니다. 우리가 model을 정의했기 때문에 다루기가 비교적 편하고 어느 정도 모델의 움직임이 예측가능한 반면 당연히 우리가 아는 것 이상으로는 결과를 낼 수 없다는 한계가 있습니다.

이 가지에서도 정의한 확률 모델이 계산이 가능(tractable)한지 혹은 불가능(intractable)한지에 따라 다시 두 갈래로 나뉩니다. 모델이 직접 계산 가능한 경우는 사실 우리가 모든 변수를 다룰 수 있기 때문에 세밀한 조정이 가능한 동시에 사용할 수 있는 모델의 종류에 강력한 제약이 생깁니다. 이 것이 싫다면 좀 더 복잡한? 모델을 사용하면 되는데 그 대가로 계산이 불가능하여 density를 근사해야 합니다.

이렇게 근사를 하는 방법에는 Monte Carlo approximations이 있습니다. 한 번쯤은 들어보셨을만큼 매우 유명한 방법인데 매우 단순히 얘기하자면 무작위로 많이 샘플을 뽑아서 분포를 유추해보자는 아이디어입니다. 보통 모델에서 fair-sampling 하는 것이 쉽고 (계산량 측면에서) sample 간의 분산이 그리 높지 않은 경우 꽤나 잘 동작하는 방식입니다.  더 직관적인 이해를 위해 예전에 봤던 재미있는 동영상이 있어 여기에 소개해봅니다.

* Garton board experiment 혹은 Monte Carlo experiment라 불리는 실험인데 전체 영상에서 해당 부분부터 시작되도록 해두었으나 총 길이도 그리 길지 않고 내용이 매우 좋으니 한 번 보시길 권합니다.

그러나 이런 방식의 근사는 고차원을 다룰 수록 점점 잘 되지 않고 무엇보다 느리다는 단점이 있습니다. 오늘의 주제인 VAE는 이와 달리 variational inference라는 보다 deterministic한 방식을 사용하여 density를 근사합니다.

돌아돌아 드디어 우리가 오늘의 메인 주제인 variational inference 부분이 나왔는데요 이 부분을 얘기하기 전에 왜 이런 짓을 하는지 좀 더 이해를 쉽게 하려면 이렇게 모델의 intractability가 나오는 이유를 먼저 살펴보고 넘어갈 필요가 있습니다.

앞서 generative model이 하고자 하는 것은 maximum likelihood(ML)의 원리를 바탕으로 학습을 해보자는 것으로 정리할 수 있다고 말씀드렸었습니다. 즉, 관측값 혹은 데이터 sample $x$를 알 때, 이런 관측값이 가장 높은 확률로 나올 수 있는 모델 파라미터 $\theta$ 혹은 latent variable $z$를 찾는 것입니다. 하지만 이 방식만으로는 거꾸로

  $x$를 주고, 여기에 해당하는 latent variable $z$를 뽑거나 알 수는 없습니다.

우리는 양방향을 다 하고 싶은데 말이죠. 그럼 어떻게 하느냐? Maximum A Posteriori (MAP) 방법으로 문제를 풀 수도 있습니다.

ML과 MAP

본격적으로 이야기를 하기 전에 ML과 MAP에 대해 어떻게 하면 쉽게 설명할 수 있을까 찾아보다가 재미있는 예시를 하나 발견하여 저희 notation에 맞게 약간만 수정하여 여기에 소개합니다: (출처: 다크 프로그래머님 블로그 글)

여기서는 classification 문제를 푸는 것을 예시로 들었는데요 관측값을 $x$ 그 값이 나온 class (또는 모델)을 $z$라고 하겠습니다. 예를 들어, 바닥에 떨어진 머리카락의 길이 $x$를 보고 그 머리카락이 남자 것인지 여자 것인지 성별 $z$를 판단하는 문제를 생각해보겠습니다.

• ML 방법: ML 방법은 남자에게서 그런 머리카락이 나올 확률 $p(x|남)$와 여자로부터 그런 머리카락이 나왔을 확률 $p(x|여)$를 비교해서 가장 확률이 큰, 즉 likelihood가 가장 큰 클래스 혹은 모델(성별)을 선택하는 방법입니다. 
• MAP 방법: MAP 방법은 $x$라는 머리카락이 발견되었는데 남자 것일 확률 $p(남|x)$, 여자 것일 확률 $p(여|x)$를 비교해서 둘 중 큰 값을 갖는 클래스 혹은 모델(성별)을 선택하는 방법입니다. 

....여기까지만 보시면 매우 헷갈리실 수 있습니다. 

그런데 여기서 남녀의 성비를 고려하면 ML과 MAP의 차이가 명확해집니다. 만약 인구의 90%가 남자(...orz)고 여자가 10%인 매우 성비가 불균등한 지역에서 이 문제를 푼다고 해봅시다. ML은 남녀 성비는 완전히 무시하고 순수하게 남자 여자 중 해당 길이의 머리카락을 가질 확률, 여자 중 해당 길이의 머리카락을 가질 확률만을 비교하는 것입니다. 

반면에 MAP는 각각의 성별로부터 해당 길이의 머리카락이 나올 확률뿐만 아니라 남녀의 성비까지 고려해서 최종 클래스를 결정하는 방법입니다. 

즉, MAP는

$$p(여|x) = \frac{p(여, x)}{p(x)} = \frac{p(여, x)}{p(여,x)+p(남,x)} = \frac{p(여, x)}{p(x|여)p(여)+p(x|남)p(남)}$$

이렇게 $p(남)$, $p(여)$의 정보를 더 고려하기 때문에 ML보다는 좀 더 정확한 모델을 찾을 수 있습니다.

여기서 문제는! 성비와는 달리 현실에서는 보통 $z$가 뭐가 있는지를 모르고 (lack of prior knowledge) 모든 $z$를 고려하여 분모인 $p(x)$를 구할 수 없는 경우가 대다수 입니다($p(x)$를 안다는 말은 데이터의 분포를 이미 알고 있다는 말인데 그러면 사실 할 일이 끝난거죠). 이런 경우 단순하게 $p(남)=p(여)$라고 놓고 문제를 푸는 경우가 많은데, 이 경우 MAP는 ML과 같게 됩니다.

Problem scenario

자 위에서 설명한 문제점이 고스란히  generative model에도 적용이 됩니다. 우리의 dataset $X=\{x^{(i)}\}_{i=1}^N$가 i.i.d. samples of continuous or discrete $x$들로 이루어져 있다고 하고, 우리가 관측하는 sample 데이터 $x$가 어떤 관측되지 않은(우리가 모르는) latent variable $z$가 영향을 미치는 어떤 random process로부터 생성된다고 가정해보겠습니다.

Directed graphical model

이를 위에 보시는 것과 같은 도식으로 나타낼 수 있는데요. 검은 선이 생성 모델 $p_\theta(z)p_\theta(x|z)$이고, 점선이 우리가 variational approximation $q_\phi(z|x)$를 이용하여 근사할 $p_\theta(z|x)$입니다.

이렇게 근사를 하는 이유가 바로 앞서 설명드린 문제점 때문입니다. Posterior인 $p_\theta(z|x)=p_\theta(x|z)p_\theta(z)/p_\theta(x)$를 알고 싶은데 이를 계산하기 위해 필요한 분모 부분 $p_\theta(x) = \int_z p_\theta(x|z)p_\theta(z)dz$가 계산이 불가능한(intractable) 경우가 많기 때문입니다. 조금만 생각해보시면 당연한 것이 일단 우리가 알지도 못하는 모든 $z$에 대해 적분(marginalization) 해줄 수가 없는 것도 있지만 애초에 latent distribution $p(z)$과 data distribution인 $p(x)$를 알면 이렇게 복잡한 짓을 할 이유가 없죠. 그냥 data generation을 하고싶으면 그 distribution에서 sampling 하면 되니까요.

결국 모든 문제는 우리가 저기 도식에서 아는 것이 별로 없기 때문에 생깁니다. Optimal 모델 파라미터 $\theta^*$도 모르고 latent variable $z$에 대한 것도 정보가 없는 경우가 많죠. 그리고 이런 intractability는 likelihood model이 조금만 복잡해져도 매우 흔하게 나타납니다. 안타깝지만 혹은 당연하지만 비선형성이 들어간 신경망은 이런 복잡한 모델에 속합니다.

Variational approximations

이런 부분을 해결하고자 제시된 테크닉이 바로 variational approximation입니다. 예전에 infoGAN을 설명할 때 잠시 설명드렸었죠? Variational method들은 보통 다음과 같은 lower bounding technique을 사용합니다:

$$\cal{L}(x;\theta)\leq \log p_{model}(x;\theta).$$

쉽게 말하자면 $\log p_{model}(x;\theta)$을 직접 계산하기가 어렵다면 하한(lower bound)을 구하는데 이를 우리가 알고 있고 계산이 편한 모델로 대체한 다음 이 하한에 해당하는 부분을 최대화하는 방식으로 문제를 우회하자는 것입니다. 이 때, 등호가 maximum일 때 성립한다는 것도 보여줘야겠죠. 

이제 VAE라는 이름에서 "Variational" 부분이 왜 붙었는지는 짐작이 가셨으리라 생각됩니다. VAE에서도 이런 테크닉을 사용해서 앞에 posterior 같은 문제를 좀 더 쉬운 문제로 바꿔서 풀겠다는 것이죠. 그럼 "Auto-Encoder" 부분은 어떤 식으로 사용되는 것일까요? 그건 다음 글에서 좀 더 다뤄보도록 하겠습니다 (광고보고 오시죠! 60초? 후 공개됩니...???ㅋㅋ 이렇게 intro만 주구장창하는 글로 마치는 것도 처음인듯하네요;;)

약간의 힌트를 드리자면 $p_\theta(z)p_\theta(x|z)$에서 우리가 prior knowledge를 바탕으로 가정한 $p_\theta(z)$를 빼고 (예시 Gaussian), $p_\theta(x|z)$ 부분을 잘 보시면 latent variable $z$를 줬을 때 sample $x$를 뽑아내는 모델이라 생각하실 수 있습니다. 즉, $z$를 code라고 생각하시면 $p_\theta(x|z)$는 decoder 모델이 되겠구요 반대로 $q_\phi(z|x)$는 이미지와 같은 sample $x$를 주었을 때 code를 내뱉는 encoder가 되겠습니다. 정확히 Auto-Encoder의 형태와 겹치지요?

별거 아닌데 이렇게 해석할 수 있다는 것도 알고나서 저는 매우 재미있고 신기했습니다. 뭔가를 조금이나마 이해한거 같아서 신이 났죠ㅋㅋ 이런 관점에서 generative model을 보니 참 재미있습니다. 세상에는 아직 배울게 참 많습니다. 그럼 다음 글에서 뵙겠습니다. 

다음 읽을거리

• 초짜 대학원생의 입장에서 이해하는 Auto-Encoding Variational Bayes (VAE) (2)
• 초짜 대학원생 입장에서 이해하는 Generative Adversarial Nets (1)
• 초짜 대학원생의 입장에서 이해하는 Domain-Adversarial Training of Neural Networks (DANN) (1)
• 초짜 대학원생의 입장에서 이해하는 Deep Convolutional Generative Adversarial Network (DCGAN) (1)
• 초짜 대학원생의 입장에서 이해하는 Unrolled Generative Adversarial Networks (1)
• 초짜 대학원생의 입장에서 이해하는 InfoGAN (1)
• 초짜 대학원생의 입장에서 이해하는 LSGAN (1)
• 초짜 대학원생의 입장에서 이해하는 BEGAN: Boundary Equilibrium Generative Adversarial Networks (2)

참고문헌:
[1] Auto-Encoding Variational Bayes, Diederik P. Kingma and Max Welling 2014
[2] NIPS 2016 Tutorial: Generative Adversarial Networks, Ian Goodfellow 2016