반응형
xavier
-
[PyTorch] Xavier_init() & He_init() 에 관하여카테고리 없음 2021. 5. 14. 20:03
Weight Init( ) 의 중요성 우리가 처음 딥러닝 모델을 정의 할 때, init( ) 값만 바꾸어 주어도, 굉장히 많은 성능 변화가 있을 수 있다. 이것을 보여주는 단편적인 예시가 다음과 같은데, 힌튼 교수님이 그동안의 Weight initializing 은 잘못되었고, 이것을 말하기 위해서 다음과 같은 그래프를 제시하였는데, 보게되면, N 이라고 표시된 부분이 weight _ init 을 한 부분인데, 초기화를 적절히 잘해주었을때, 더욱 성능이 개선된 모델을 얻을 수 있다. RBM 모델 - 그래서 처음 힌튼 교수님이 제안한 모델은 Restricted_Boltzman_model 을 사용하여, 가중치값을 초기화시키는 건데, 지금은 조금 더 개선된 사비에르 초깃값 그리고 헤(He_initializat..