초짜 대학원생의 입장에서 이해하는 The Marginal Value of Adaptive Gradient Methods in Machine Learning (1)

* The Marginal Value of Adaptive Gradient Methods in Machine Learning, Ashia C. Wilson et al. 2017을 바탕으로 한 리뷰

안녕하세요 한동안 뜸했습니다. 일주일 간의 파키스탄 출장이 끝나서 어제 돌아왔네요. 이 논문은 출장 중 페이스북을 보다가 최근에 흥미로운 논문 한 편이 공유되었길래 저장해뒀던 것인데요 돌아오는 비행기 안에서 시간을 보낼거리를 찾다가 상당히 재미있게 읽어 글로 정리를 해봅니다.

논문 내용을 마치 광고 글처럼 요약해보자면,

"Gradient descent (GD)나 Stochastic gradient descent (SGD)를 이용하여 찾은 solution이 다른 adaptive methods (e.g. AdaGrad, RMSprop, and Adam)으로 찾은 solution보다 훨씬 generalization 측면에서 뛰어나다."

"그러니까 adaptive methods 괜히 쓰지 말고 SGD를 써라!"

....응? 진짜?

WannaCry 랜섬 웨어 예방하기

요즘 랜섬웨어가 유행한다고 하네요 아래의 처치로 일차적으로 보안 취약점 하나를 막을 수 있으니 따라해보시길 권합니다.

1. 랜섬웨어 방지 대국민 행동

1) PC를 켜기 전 네트워크 단절
 - 랜선 뽑기
 - 와이파이 끄기

2) 감염 경로 차단
 - 방화벽 설정 변경

3) 인터넷 재연결 후 보안 업데이트
 - 윈도우 보안 패치 실행
 - 백신 프로그램 업데이트

2. 파일 공유 기능 해제 - 방화벽 설정

Window 방화벽에서 SMB에 사용되는 포트 차단

1) 제어판 -> 시스템 및 보안
2) Windows 방화벽 -> 고급 설정
3) 인바운드 규칙 -> 새규칙 -> 포트 -> 다음
4) TCP -> 특정 로컬 포트 -> 139,445 -> 다음
5) 연결 차단 -> 다음
6) 도메인, 개인, 공용 체크 확인 -> 다음
7) 이름 설정 -> 마침

출처: 한국인터넷진흥원

초짜 대학원생의 입장에서 이해하는 Auto-Encoding Variational Bayes (VAE) (3)

* Auto-Encoding Variational Bayes, Diederik P. Kingma and Max Welling 2014를 바탕으로 한 리뷰

저번 글에 이어 오늘은 reparameterization trick에 대해 알아보고 VAE에 대한 소개를 마치도록 하겠습니다. 

초짜 대학원생의 입장에서 이해하는 Auto-Encoding Variational Bayes (VAE) (2)

* Auto-Encoding Variational Bayes, Diederik P. Kingma and Max Welling 2014를 바탕으로 한 리뷰

저번 글에 이어 Variational bound에 대한 얘기를 마치고 VAE가 기존 방식들과 어떻게 다른지, 장점은 무엇인지 등을 살펴보겠습니다.

[PR12-Video] 1. Generative Adversarial Nets

TensorFlowKR facebook comunity에서 모인 12명의 paper readers (PR12)가 읽어주는 Deep learning paper awesome list 100선 by Terry Um.

#1. Generative Adversarial Nets

매주 일요일 두 명이 각각 40분 동안 발표하고 질문을 받으며 진행하게 되었는데요 그 첫 머리를 제가 GAN으로 시작하는 영광을 얻었습니다. 이런 촬영이 처음이라 맨 뒤에 GAN variants를 소개하다가 40분을 초과하여 살짝 끊겼지만 그래도 주요한 내용은 모두 커버해서 다행입니다. 다음부터는 타이머를 켜두려구요.

슬라이드: https://www.slideshare.net/thinkingfactory/pr12-intro-to-gans-jaejun-yoo

동영상이 너무 길다 싶으신 분은 아래 다음 읽을거리 중 GAN 포스팅을 읽으셔도 됩니다 :)
다음에 또 다른 주제로 뵈어요~!

다른 분들의 발표도 보고 싶다면: PR12 딥러닝 논문읽기 모임

다음 읽을거리

• 초짜 대학원생 입장에서 이해하는 Generative Adversarial Nets (1)
• 초짜 대학원생의 입장에서 이해하는 Domain-Adversarial Training of Neural Networks (DANN) (1)
• 초짜 대학원생의 입장에서 이해하는 Deep Convolutional Generative Adversarial Network (DCGAN) (1)
• 초짜 대학원생의 입장에서 이해하는 Unrolled Generative Adversarial Networks (1)
• 초짜 대학원생의 입장에서 이해하는 InfoGAN (1)
• 초짜 대학원생의 입장에서 이해하는 LSGAN (1)
• 초짜 대학원생의 입장에서 이해하는 BEGAN: Boundary Equilibrium Generative Adversarial Networks (2)

초짜 대학원생의 입장에서 이해하는 Auto-Encoding Variational Bayes (VAE) (1)

* Auto-Encoding Variational Bayes, Diederik P. Kingma and Max Welling 2014를 바탕으로 한 리뷰

안녕하세요 오늘은 GAN 시리즈 대신 GAN 이전에 generative model계를 주름잡고 있었던 Variational Auto-Encoder a.k.a. VAE에 대해 살펴보겠습니다. 그동안 논문들을 보다보면 GAN과 VAE를 비교하며 어떤 차이점이 있는지에 대해 여러 차례 언급이 되었기에 제대로 보지는 않았는데도 익숙할 지경입니다.

원래 뭐든 이름을 제대로 알면 다 아는거라고 하죠? :) 그럼 이름에 왜 "Variational"이 들어가고 "Auto-Encoder"는 어떻게 쓰이는지 확인해보겠습니다.

초짜 대학원생의 입장에서 이해하는 BEGAN: Boundary Equilibrium Generative Adversarial Networks (2)

* BEGAN: Boundary Equilibrium Generative Adversarial Networks David Berthelot et al. 2017을 바탕으로 한 리뷰

지난 글에 이어 BEGAN 내용을 쭉 살펴보고 마무리해보겠습니다. 마지막 부분에 얘기했었지만 GAN에서는 generator와 discriminator 사이의 파워 게임에서 균형을 맞춰주는 것이 매우 중요합니다. 이 균형이 잘 안 맞으면 discriminator가 generator를 쉽게 이기는 경우가 많은데 BEGAN에서는 이 부분도 equilibrium measure technique이라는 개념을 도입해서 일부분 해결을 해줍니다. 심지어 한 쪽이 좀 더 학습이 잘 된 경우에도 모델이 안정적으로 학습되게 해준다는 것을 실험 결과로도 보여줍니다.