[PR12 Video] 385. Generative Modeling by Estimating Gradients of the Data Distribution

TensorFlowKR facebook comunity에서 모인 12명의 paper readers (PR12)가 읽어주는 deep learning papers

#385. Generative Modeling by Estimating Gradients of the Data Distribution

PR12 385번째 발표입니다. 요즘 하도 Diffusion model이 잘 되길래 이거 공부를 하긴 해야하겠는데..하다가 좀 각잡고 봐야겠다고 마음 먹었더니 NeurIPS 19년 논문으로 갔습니다. 사실 2005년에 나온 논문부터 해야하지만 발표를 위해 적절히 타협을..ㅎㅎ 재미있는 논문입니다. 보시면 Score-based generative model이 뭔지 아실 수 있으리라 생각합니다.

Paper:  https://arxiv.org/abs/1907.05600

다른 분들의 발표도 보고 싶다면 아래 링크에서 확인하시면 되겠습니다 :)

1기 2기 3기 4기

* 현재 4기가 진행 중입니다!

다음 읽을거리

• Backpropagation 설명 예제와 함께 완전히 이해하기
• RNN 설명 예제와 함께 완전히 이해하기
• 초짜 대학원생의 입장에서 이해하는 VAE (1)
• 초짜 대학원생 입장에서 이해하는 GANs (1)
• 초짜 대학원생의 입장에서 이해하는 Domain-Adversarial Training of Neural Networks (DANN) (1)
• 초짜 대학원생의 입장에서 이해하는 DCGAN (1)
• 초짜 대학원생의 입장에서 이해하는 Unrolled GAN (1)
• 초짜 대학원생의 입장에서 이해하는 InfoGAN (1)
• 초짜 대학원생의 입장에서 이해하는 LSGAN (1)
• 초짜 대학원생의 입장에서 이해하는 BEGAN (1)
• 초짜 대학원생의 입장에서 이해하는 f-GAN (1)
• 초짜 대학원생의 입장에서 이해하는 EBGAN (1)
• 초짜 대학원생의 입장에서 이해하는 The Marginal Value of Adaptive Gradient Methods in Machine Learning (1)
• 초짜 대학원생의 입장에서 이해하는 SVM (1)
• Image Restoration (IR): inverse problem point of view (1)
• 디지털 신호 처리가 궁금하다면: Signal Processing For Communications
• 머신러닝에 속하는 전반적인 연구 내용들이 궁금하다면: Machine learning
• 머신러닝에서 잘 사용되는 수학에 관심이 있다면: Mathematics

[PR12 Video] 374. Fourier Features Let Networks Learn High-Frequency Functions in Low Dimensional Domains (+ NTK, Neural Tangent Kernel)

TensorFlowKR facebook comunity에서 모인 12명의 paper readers (PR12)가 읽어주는 deep learning papers

#374. Fourier Features Let Networks Learn High-Frequency Functions in Low Dimensional Domains

PR12 374번째 발표입니다. 오늘도 저번처럼 가면 갈수록 inductive bias를 줄여야한다고 외치고 있는 연구 방향과는 정반대로, 이론에 근간한 간단한 fix를 통해 훨씬 강력한 성능을 달성한 모델을 소개해보겠습니다. 매우 즐겁게? 읽었는데요. 다른 분들도 재미있으셨으면 좋겠습니다. (네...제가 그렇죠 뭐. 오늘도 매우 어려운 논문을 골라놓고 내일이 개강인데....난 왜 이 논문을 골라서 스스로 괴롭게 살까 계속 그 생각만 하면서 준비했습니다. 담부턴 좀 쉬운 논문 해야지 하면서 맨날 스스로도 소화하기 힘든 논문을 고르는건 과학인듯 합니다.) (꼭 고를 때 되면 쉽게 할 수 있어보이더라) (다 하보니 1시간...)

Paper:  https://arxiv.org/abs/2006.10739

다른 분들의 발표도 보고 싶다면 아래 링크에서 확인하시면 되겠습니다 :)

1기 2기 3기 4기

* 현재 4기가 진행 중입니다!

다음 읽을거리

• Backpropagation 설명 예제와 함께 완전히 이해하기
• RNN 설명 예제와 함께 완전히 이해하기
• 초짜 대학원생의 입장에서 이해하는 VAE (1)
• 초짜 대학원생 입장에서 이해하는 GANs (1)
• 초짜 대학원생의 입장에서 이해하는 Domain-Adversarial Training of Neural Networks (DANN) (1)
• 초짜 대학원생의 입장에서 이해하는 DCGAN (1)
• 초짜 대학원생의 입장에서 이해하는 Unrolled GAN (1)
• 초짜 대학원생의 입장에서 이해하는 InfoGAN (1)
• 초짜 대학원생의 입장에서 이해하는 LSGAN (1)
• 초짜 대학원생의 입장에서 이해하는 BEGAN (1)
• 초짜 대학원생의 입장에서 이해하는 f-GAN (1)
• 초짜 대학원생의 입장에서 이해하는 EBGAN (1)
• 초짜 대학원생의 입장에서 이해하는 The Marginal Value of Adaptive Gradient Methods in Machine Learning (1)
• 초짜 대학원생의 입장에서 이해하는 SVM (1)
• Image Restoration (IR): inverse problem point of view (1)
• 디지털 신호 처리가 궁금하다면: Signal Processing For Communications
• 머신러닝에 속하는 전반적인 연구 내용들이 궁금하다면: Machine learning
• 머신러닝에서 잘 사용되는 수학에 관심이 있다면: Mathematics

[PR12 Video] 338. Alias-Free Generative Adversarial Networks (StyleGAN3) 리뷰 개념 정리

TensorFlowKR facebook comunity에서 모인 12명의 paper readers (PR12)가 읽어주는 deep learning papers

#338. Alias-Free Generative Adversarial Networks

PR12 338번째 발표입니다. 오늘도 저번처럼 가면 갈수록 inductive bias를 줄여야한다고 외치고 있는 연구 방향과는 정반대로, 이론에 근간한 간단한 fix를 통해 훨씬 강력한 성능을 달성한 모델을 소개해보겠습니다. Nvidia의 Tero Karras가 1저자인 논문입니다. 🙂 매우 즐겁게? 읽었는데요. 다른 분들도 재미있으셨으면 좋겠습니다. (너무 많은 내용을 하나에 담아서 설명하려고 했나 하면서 후회하고 있습니다 ㅋㅋ 힘들었어요...담부턴 좀 쉬운 논문 해야지 하면서 맨날 스스로도 소화하기 힘든 논문을 고르는건 무슨 이유일까요..orz)

Paper:  https://arxiv.org/abs/2106.12423

처음 PR12를 시작했을 때는 대학원생, 1기 마지막 발표 때는 네이버, 얼마 전까지는 EPFL에서 포닥, 이제 드디어 UNIST에서 조교수로 시작합니다. PR12와 제 커리어가 같이 흘러가는군요. 열심히 해보겠습니다. 다른 분들의 발표도 보고 싶다면 아래 링크에서 확인하시면 되겠습니다 :)

1기 2기 3기 4기

* 현재 4기가 진행 중입니다!

다음 읽을거리

• Backpropagation 설명 예제와 함께 완전히 이해하기
• RNN 설명 예제와 함께 완전히 이해하기
• 초짜 대학원생의 입장에서 이해하는 VAE (1)
• 초짜 대학원생 입장에서 이해하는 GANs (1)
• 초짜 대학원생의 입장에서 이해하는 Domain-Adversarial Training of Neural Networks (DANN) (1)
• 초짜 대학원생의 입장에서 이해하는 DCGAN (1)
• 초짜 대학원생의 입장에서 이해하는 Unrolled GAN (1)
• 초짜 대학원생의 입장에서 이해하는 InfoGAN (1)
• 초짜 대학원생의 입장에서 이해하는 LSGAN (1)
• 초짜 대학원생의 입장에서 이해하는 BEGAN (1)
• 초짜 대학원생의 입장에서 이해하는 f-GAN (1)
• 초짜 대학원생의 입장에서 이해하는 EBGAN (1)
• 초짜 대학원생의 입장에서 이해하는 The Marginal Value of Adaptive Gradient Methods in Machine Learning (1)
• 초짜 대학원생의 입장에서 이해하는 SVM (1)
• Image Restoration (IR): inverse problem point of view (1)
• 디지털 신호 처리가 궁금하다면: Signal Processing For Communications
• 머신러닝에 속하는 전반적인 연구 내용들이 궁금하다면: Machine learning
• 머신러닝에서 잘 사용되는 수학에 관심이 있다면: Mathematics

[PR12 Video] 323. Separation and Concentration in Deep Networks

TensorFlowKR facebook comunity에서 모인 12명의 paper readers (PR12)가 읽어주는 deep learning papers

#323.Separation and Concentration in Deep Networks

오늘도 저번처럼 가면 갈수록 big model로 치닫고 있는 연구 방향과는 정반대로, 학습이 거의 없이 ImageNet에서 ResNet classification 성능을 제치는 모델을 소개해보겠습니다. NYU의 Joan Bruna와 신호처리의 거장 중 한명인 Stephane Mallat 교수님의 scattering network에 대해 아신다면 더 잘 이해가 가실 것 같습니다 🙂 매우 즐겁게 읽었는데요. 다른 분들도 재미있으셨으면 좋겠습니다.

Paper:  https://openreview.net/forum?id=8HhkbjrWLdE
슬라이드: https://www.slideshare.net/thinkingfactory/pr12-generative-models-as-distributions-of-functions

4기 되어 두번째 발표입니다. 다른 분들의 발표도 보고 싶다면 아래 링크에서 확인하시면 되겠습니다 :)

1기 2기 3기 4기

* 현재 4기가 진행 중입니다!

다음 읽을거리

• Backpropagation 설명 예제와 함께 완전히 이해하기
• RNN 설명 예제와 함께 완전히 이해하기
• 초짜 대학원생의 입장에서 이해하는 VAE (1)
• 초짜 대학원생 입장에서 이해하는 GANs (1)
• 초짜 대학원생의 입장에서 이해하는 Domain-Adversarial Training of Neural Networks (DANN) (1)
• 초짜 대학원생의 입장에서 이해하는 DCGAN (1)
• 초짜 대학원생의 입장에서 이해하는 Unrolled GAN (1)
• 초짜 대학원생의 입장에서 이해하는 InfoGAN (1)
• 초짜 대학원생의 입장에서 이해하는 LSGAN (1)
• 초짜 대학원생의 입장에서 이해하는 BEGAN (1)
• 초짜 대학원생의 입장에서 이해하는 f-GAN (1)
• 초짜 대학원생의 입장에서 이해하는 EBGAN (1)
• 초짜 대학원생의 입장에서 이해하는 The Marginal Value of Adaptive Gradient Methods in Machine Learning (1)
• 초짜 대학원생의 입장에서 이해하는 SVM (1)
• Image Restoration (IR): inverse problem point of view (1)
• 디지털 신호 처리가 궁금하다면: Signal Processing For Communications
• 머신러닝에 속하는 전반적인 연구 내용들이 궁금하다면: Machine learning
• 머신러닝에서 잘 사용되는 수학에 관심이 있다면: Mathematics

[PR12 Video] 312. Generative Models as Distributions of Functions

TensorFlowKR facebook comunity에서 모인 12명의 paper readers (PR12)가 읽어주는 deep learning papers

#312.Generative Models as Distributions of Functions

오늘은 2021년 2월에 arXiv에 올라온 Generative Models as Distributions of Functions 논문을 리뷰하겠습니다. 1기 이후 오랜만에 PR12 멤버로 합류하게 되었는데요. 가면 갈수록 big model로 치닫고 있는 연구 방향과는 정반대로, 상당히 독특한 형태로 재미있게 생성 문제를 풀은 연구를 소개해봤습니다. 저는 개인적으로 매우 즐겁게 읽었는데요. 다른 분들도 재미있어 하시면 좋겠습니다.

Paper:  https://arxiv.org/abs/2102.04776
슬라이드: https://www.slideshare.net/thinkingfactory/pr12-generative-models-as-distributions-of-functions

처음 PR12를 시작했을 때는 대학원생, 1기 마지막 발표 때는 네이버, 지금은 EPFL에서 포닥, 곧 UNIST에서 조교수로 PR12와 제 커리어가 같이 흘러가고 있는걸 보니 또 나름 감회가 새롭네요. 다른 분들의 발표도 보고 싶다면 아래 링크에서 확인하시면 되겠습니다 :)

1기 2기 3기 4기

* 현재 4기가 진행 중입니다!

다음 읽을거리

• Backpropagation 설명 예제와 함께 완전히 이해하기
• RNN 설명 예제와 함께 완전히 이해하기
• 초짜 대학원생의 입장에서 이해하는 VAE (1)
• 초짜 대학원생 입장에서 이해하는 GANs (1)
• 초짜 대학원생의 입장에서 이해하는 Domain-Adversarial Training of Neural Networks (DANN) (1)
• 초짜 대학원생의 입장에서 이해하는 DCGAN (1)
• 초짜 대학원생의 입장에서 이해하는 Unrolled GAN (1)
• 초짜 대학원생의 입장에서 이해하는 InfoGAN (1)
• 초짜 대학원생의 입장에서 이해하는 LSGAN (1)
• 초짜 대학원생의 입장에서 이해하는 BEGAN (1)
• 초짜 대학원생의 입장에서 이해하는 f-GAN (1)
• 초짜 대학원생의 입장에서 이해하는 EBGAN (1)
• 초짜 대학원생의 입장에서 이해하는 The Marginal Value of Adaptive Gradient Methods in Machine Learning (1)
• 초짜 대학원생의 입장에서 이해하는 SVM (1)
• Image Restoration (IR): inverse problem point of view (1)
• 디지털 신호 처리가 궁금하다면: Signal Processing For Communications
• 머신러닝에 속하는 전반적인 연구 내용들이 궁금하다면: Machine learning
• 머신러닝에서 잘 사용되는 수학에 관심이 있다면: Mathematics

[PR12-Video] 87. Spectral Normalization for Generative Adversarial Networks

TensorFlowKR facebook comunity에서 모인 12명의 paper readers (PR12)가 읽어주는 deep learning papers

#87.Spectral Normalization for Generative Adversarial Networks

이 리뷰에서는 ICLR 2018에 발표된 SNGAN 논문을 리뷰하겠습니다. 즐겁게 들어주시면 감사하겠습니다.

(paper) Spectral Normalization for Generative Adversarial Networks

Paper:  https://openreview.net/forum?id=B1QRgziT-
슬라이드: https://www.slideshare.net/thinkingfactory/pr12-spectral-normalization-for-generative-adversarial-networks

이 발표가 제가 PR12에서 마지막으로 발표한 논문이었네요. 처음 시작할 때는 언제 100회가 끝날까 싶었는데, 새삼 시간이 참 빠르게 흐른다는 생각을 해봅니다. 끝까지 열심히 했는데 다음에도 여유가 된다면 다시 참여하고 싶네요. 지금도 새로운 멤버로 계속되고 있는 것으로 알고 있으니 다른 분들의 발표도 보고 싶다면: PR12 딥러닝 논문읽기 모임 에서 확인하시면 되겠습니다 :)

다음 읽을거리

• Backpropagation 설명 예제와 함께 완전히 이해하기
• RNN 설명 예제와 함께 완전히 이해하기
• 초짜 대학원생의 입장에서 이해하는 VAE (1)
• 초짜 대학원생 입장에서 이해하는 GANs (1)
• 초짜 대학원생의 입장에서 이해하는 Domain-Adversarial Training of Neural Networks (DANN) (1)
• 초짜 대학원생의 입장에서 이해하는 DCGAN (1)
• 초짜 대학원생의 입장에서 이해하는 Unrolled GAN (1)
• 초짜 대학원생의 입장에서 이해하는 InfoGAN (1)
• 초짜 대학원생의 입장에서 이해하는 LSGAN (1)
• 초짜 대학원생의 입장에서 이해하는 BEGAN (1)
• 초짜 대학원생의 입장에서 이해하는 f-GAN (1)
• 초짜 대학원생의 입장에서 이해하는 EBGAN (1)
• 초짜 대학원생의 입장에서 이해하는 The Marginal Value of Adaptive Gradient Methods in Machine Learning (1)
• 초짜 대학원생의 입장에서 이해하는 SVM (1)
• Image Restoration (IR): inverse problem point of view (1)
• 디지털 신호 처리가 궁금하다면: Signal Processing For Communications
• 머신러닝에 속하는 전반적인 연구 내용들이 궁금하다면: Machine learning
• 머신러닝에서 잘 사용되는 수학에 관심이 있다면: Mathematics