[PR12 Video] 385. Generative Modeling by Estimating Gradients of the Data Distribution

TensorFlowKR facebook comunity에서 모인 12명의 paper readers (PR12)가 읽어주는 deep learning papers

#385. Generative Modeling by Estimating Gradients of the Data Distribution

PR12 385번째 발표입니다. 요즘 하도 Diffusion model이 잘 되길래 이거 공부를 하긴 해야하겠는데..하다가 좀 각잡고 봐야겠다고 마음 먹었더니 NeurIPS 19년 논문으로 갔습니다. 사실 2005년에 나온 논문부터 해야하지만 발표를 위해 적절히 타협을..ㅎㅎ 재미있는 논문입니다. 보시면 Score-based generative model이 뭔지 아실 수 있으리라 생각합니다.

Paper:  https://arxiv.org/abs/1907.05600

다른 분들의 발표도 보고 싶다면 아래 링크에서 확인하시면 되겠습니다 :)

1기 2기 3기 4기

* 현재 4기가 진행 중입니다!

다음 읽을거리

• Backpropagation 설명 예제와 함께 완전히 이해하기
• RNN 설명 예제와 함께 완전히 이해하기
• 초짜 대학원생의 입장에서 이해하는 VAE (1)
• 초짜 대학원생 입장에서 이해하는 GANs (1)
• 초짜 대학원생의 입장에서 이해하는 Domain-Adversarial Training of Neural Networks (DANN) (1)
• 초짜 대학원생의 입장에서 이해하는 DCGAN (1)
• 초짜 대학원생의 입장에서 이해하는 Unrolled GAN (1)
• 초짜 대학원생의 입장에서 이해하는 InfoGAN (1)
• 초짜 대학원생의 입장에서 이해하는 LSGAN (1)
• 초짜 대학원생의 입장에서 이해하는 BEGAN (1)
• 초짜 대학원생의 입장에서 이해하는 f-GAN (1)
• 초짜 대학원생의 입장에서 이해하는 EBGAN (1)
• 초짜 대학원생의 입장에서 이해하는 The Marginal Value of Adaptive Gradient Methods in Machine Learning (1)
• 초짜 대학원생의 입장에서 이해하는 SVM (1)
• Image Restoration (IR): inverse problem point of view (1)
• 디지털 신호 처리가 궁금하다면: Signal Processing For Communications
• 머신러닝에 속하는 전반적인 연구 내용들이 궁금하다면: Machine learning
• 머신러닝에서 잘 사용되는 수학에 관심이 있다면: Mathematics

[PR12 Video] 374. Fourier Features Let Networks Learn High-Frequency Functions in Low Dimensional Domains (+ NTK, Neural Tangent Kernel)

TensorFlowKR facebook comunity에서 모인 12명의 paper readers (PR12)가 읽어주는 deep learning papers

#374. Fourier Features Let Networks Learn High-Frequency Functions in Low Dimensional Domains

PR12 374번째 발표입니다. 오늘도 저번처럼 가면 갈수록 inductive bias를 줄여야한다고 외치고 있는 연구 방향과는 정반대로, 이론에 근간한 간단한 fix를 통해 훨씬 강력한 성능을 달성한 모델을 소개해보겠습니다. 매우 즐겁게? 읽었는데요. 다른 분들도 재미있으셨으면 좋겠습니다. (네...제가 그렇죠 뭐. 오늘도 매우 어려운 논문을 골라놓고 내일이 개강인데....난 왜 이 논문을 골라서 스스로 괴롭게 살까 계속 그 생각만 하면서 준비했습니다. 담부턴 좀 쉬운 논문 해야지 하면서 맨날 스스로도 소화하기 힘든 논문을 고르는건 과학인듯 합니다.) (꼭 고를 때 되면 쉽게 할 수 있어보이더라) (다 하보니 1시간...)

Paper:  https://arxiv.org/abs/2006.10739

다른 분들의 발표도 보고 싶다면 아래 링크에서 확인하시면 되겠습니다 :)

1기 2기 3기 4기

* 현재 4기가 진행 중입니다!

다음 읽을거리

• Backpropagation 설명 예제와 함께 완전히 이해하기
• RNN 설명 예제와 함께 완전히 이해하기
• 초짜 대학원생의 입장에서 이해하는 VAE (1)
• 초짜 대학원생 입장에서 이해하는 GANs (1)
• 초짜 대학원생의 입장에서 이해하는 Domain-Adversarial Training of Neural Networks (DANN) (1)
• 초짜 대학원생의 입장에서 이해하는 DCGAN (1)
• 초짜 대학원생의 입장에서 이해하는 Unrolled GAN (1)
• 초짜 대학원생의 입장에서 이해하는 InfoGAN (1)
• 초짜 대학원생의 입장에서 이해하는 LSGAN (1)
• 초짜 대학원생의 입장에서 이해하는 BEGAN (1)
• 초짜 대학원생의 입장에서 이해하는 f-GAN (1)
• 초짜 대학원생의 입장에서 이해하는 EBGAN (1)
• 초짜 대학원생의 입장에서 이해하는 The Marginal Value of Adaptive Gradient Methods in Machine Learning (1)
• 초짜 대학원생의 입장에서 이해하는 SVM (1)
• Image Restoration (IR): inverse problem point of view (1)
• 디지털 신호 처리가 궁금하다면: Signal Processing For Communications
• 머신러닝에 속하는 전반적인 연구 내용들이 궁금하다면: Machine learning
• 머신러닝에서 잘 사용되는 수학에 관심이 있다면: Mathematics