[PR12 Video] 338. Alias-Free Generative Adversarial Networks (StyleGAN3) 리뷰 개념 정리

TensorFlowKR facebook comunity에서 모인 12명의 paper readers (PR12)가 읽어주는 deep learning papers

#338. Alias-Free Generative Adversarial Networks

PR12 338번째 발표입니다. 오늘도 저번처럼 가면 갈수록 inductive bias를 줄여야한다고 외치고 있는 연구 방향과는 정반대로, 이론에 근간한 간단한 fix를 통해 훨씬 강력한 성능을 달성한 모델을 소개해보겠습니다. Nvidia의 Tero Karras가 1저자인 논문입니다. 🙂 매우 즐겁게? 읽었는데요. 다른 분들도 재미있으셨으면 좋겠습니다. (너무 많은 내용을 하나에 담아서 설명하려고 했나 하면서 후회하고 있습니다 ㅋㅋ 힘들었어요...담부턴 좀 쉬운 논문 해야지 하면서 맨날 스스로도 소화하기 힘든 논문을 고르는건 무슨 이유일까요..orz)

Paper:  https://arxiv.org/abs/2106.12423

처음 PR12를 시작했을 때는 대학원생, 1기 마지막 발표 때는 네이버, 얼마 전까지는 EPFL에서 포닥, 이제 드디어 UNIST에서 조교수로 시작합니다. PR12와 제 커리어가 같이 흘러가는군요. 열심히 해보겠습니다. 다른 분들의 발표도 보고 싶다면 아래 링크에서 확인하시면 되겠습니다 :)

1기 2기 3기 4기

* 현재 4기가 진행 중입니다!

다음 읽을거리

• Backpropagation 설명 예제와 함께 완전히 이해하기
• RNN 설명 예제와 함께 완전히 이해하기
• 초짜 대학원생의 입장에서 이해하는 VAE (1)
• 초짜 대학원생 입장에서 이해하는 GANs (1)
• 초짜 대학원생의 입장에서 이해하는 Domain-Adversarial Training of Neural Networks (DANN) (1)
• 초짜 대학원생의 입장에서 이해하는 DCGAN (1)
• 초짜 대학원생의 입장에서 이해하는 Unrolled GAN (1)
• 초짜 대학원생의 입장에서 이해하는 InfoGAN (1)
• 초짜 대학원생의 입장에서 이해하는 LSGAN (1)
• 초짜 대학원생의 입장에서 이해하는 BEGAN (1)
• 초짜 대학원생의 입장에서 이해하는 f-GAN (1)
• 초짜 대학원생의 입장에서 이해하는 EBGAN (1)
• 초짜 대학원생의 입장에서 이해하는 The Marginal Value of Adaptive Gradient Methods in Machine Learning (1)
• 초짜 대학원생의 입장에서 이해하는 SVM (1)
• Image Restoration (IR): inverse problem point of view (1)
• 디지털 신호 처리가 궁금하다면: Signal Processing For Communications
• 머신러닝에 속하는 전반적인 연구 내용들이 궁금하다면: Machine learning
• 머신러닝에서 잘 사용되는 수학에 관심이 있다면: Mathematics

[PR12 Video] 323. Separation and Concentration in Deep Networks

TensorFlowKR facebook comunity에서 모인 12명의 paper readers (PR12)가 읽어주는 deep learning papers

#323.Separation and Concentration in Deep Networks

오늘도 저번처럼 가면 갈수록 big model로 치닫고 있는 연구 방향과는 정반대로, 학습이 거의 없이 ImageNet에서 ResNet classification 성능을 제치는 모델을 소개해보겠습니다. NYU의 Joan Bruna와 신호처리의 거장 중 한명인 Stephane Mallat 교수님의 scattering network에 대해 아신다면 더 잘 이해가 가실 것 같습니다 🙂 매우 즐겁게 읽었는데요. 다른 분들도 재미있으셨으면 좋겠습니다.

Paper:  https://openreview.net/forum?id=8HhkbjrWLdE
슬라이드: https://www.slideshare.net/thinkingfactory/pr12-generative-models-as-distributions-of-functions

4기 되어 두번째 발표입니다. 다른 분들의 발표도 보고 싶다면 아래 링크에서 확인하시면 되겠습니다 :)

1기 2기 3기 4기

* 현재 4기가 진행 중입니다!

다음 읽을거리

• Backpropagation 설명 예제와 함께 완전히 이해하기
• RNN 설명 예제와 함께 완전히 이해하기
• 초짜 대학원생의 입장에서 이해하는 VAE (1)
• 초짜 대학원생 입장에서 이해하는 GANs (1)
• 초짜 대학원생의 입장에서 이해하는 Domain-Adversarial Training of Neural Networks (DANN) (1)
• 초짜 대학원생의 입장에서 이해하는 DCGAN (1)
• 초짜 대학원생의 입장에서 이해하는 Unrolled GAN (1)
• 초짜 대학원생의 입장에서 이해하는 InfoGAN (1)
• 초짜 대학원생의 입장에서 이해하는 LSGAN (1)
• 초짜 대학원생의 입장에서 이해하는 BEGAN (1)
• 초짜 대학원생의 입장에서 이해하는 f-GAN (1)
• 초짜 대학원생의 입장에서 이해하는 EBGAN (1)
• 초짜 대학원생의 입장에서 이해하는 The Marginal Value of Adaptive Gradient Methods in Machine Learning (1)
• 초짜 대학원생의 입장에서 이해하는 SVM (1)
• Image Restoration (IR): inverse problem point of view (1)
• 디지털 신호 처리가 궁금하다면: Signal Processing For Communications
• 머신러닝에 속하는 전반적인 연구 내용들이 궁금하다면: Machine learning
• 머신러닝에서 잘 사용되는 수학에 관심이 있다면: Mathematics

[PR12 Video] 312. Generative Models as Distributions of Functions

TensorFlowKR facebook comunity에서 모인 12명의 paper readers (PR12)가 읽어주는 deep learning papers

#312.Generative Models as Distributions of Functions

오늘은 2021년 2월에 arXiv에 올라온 Generative Models as Distributions of Functions 논문을 리뷰하겠습니다. 1기 이후 오랜만에 PR12 멤버로 합류하게 되었는데요. 가면 갈수록 big model로 치닫고 있는 연구 방향과는 정반대로, 상당히 독특한 형태로 재미있게 생성 문제를 풀은 연구를 소개해봤습니다. 저는 개인적으로 매우 즐겁게 읽었는데요. 다른 분들도 재미있어 하시면 좋겠습니다.

Paper:  https://arxiv.org/abs/2102.04776
슬라이드: https://www.slideshare.net/thinkingfactory/pr12-generative-models-as-distributions-of-functions

처음 PR12를 시작했을 때는 대학원생, 1기 마지막 발표 때는 네이버, 지금은 EPFL에서 포닥, 곧 UNIST에서 조교수로 PR12와 제 커리어가 같이 흘러가고 있는걸 보니 또 나름 감회가 새롭네요. 다른 분들의 발표도 보고 싶다면 아래 링크에서 확인하시면 되겠습니다 :)

1기 2기 3기 4기

* 현재 4기가 진행 중입니다!

다음 읽을거리

• Backpropagation 설명 예제와 함께 완전히 이해하기
• RNN 설명 예제와 함께 완전히 이해하기
• 초짜 대학원생의 입장에서 이해하는 VAE (1)
• 초짜 대학원생 입장에서 이해하는 GANs (1)
• 초짜 대학원생의 입장에서 이해하는 Domain-Adversarial Training of Neural Networks (DANN) (1)
• 초짜 대학원생의 입장에서 이해하는 DCGAN (1)
• 초짜 대학원생의 입장에서 이해하는 Unrolled GAN (1)
• 초짜 대학원생의 입장에서 이해하는 InfoGAN (1)
• 초짜 대학원생의 입장에서 이해하는 LSGAN (1)
• 초짜 대학원생의 입장에서 이해하는 BEGAN (1)
• 초짜 대학원생의 입장에서 이해하는 f-GAN (1)
• 초짜 대학원생의 입장에서 이해하는 EBGAN (1)
• 초짜 대학원생의 입장에서 이해하는 The Marginal Value of Adaptive Gradient Methods in Machine Learning (1)
• 초짜 대학원생의 입장에서 이해하는 SVM (1)
• Image Restoration (IR): inverse problem point of view (1)
• 디지털 신호 처리가 궁금하다면: Signal Processing For Communications
• 머신러닝에 속하는 전반적인 연구 내용들이 궁금하다면: Machine learning
• 머신러닝에서 잘 사용되는 수학에 관심이 있다면: Mathematics