파이토치
-
Pytorch 사용자 정의 Transforms.Compose 만들기카테고리 없음 2021. 5. 15. 02:46
- 우리가 원하는 대로 데이터를 핸들링 하려면 Pytorch 에서 제공해주는 Compose 기능을 사용할 수 있다. - 간단히 Cifar 10 의 데이터를 가지고 우리가 원하는 대로 rescale, randomCrop , 그리고 이를 합친 Compose([rescale,randomcrop]) 을 구현해보겠다. - 우선 원하는 모듈을 로딩시켜주고, import torch import torch.nn as nn import numpy as np import torch.optim as optim import torchvision import torchvision.transforms as transforms import matplotlib.pyplot as plt %matplotlib inline - Cuda가..
-
[PyTorch] Xavier_init() & He_init() 에 관하여카테고리 없음 2021. 5. 14. 20:03
Weight Init( ) 의 중요성 우리가 처음 딥러닝 모델을 정의 할 때, init( ) 값만 바꾸어 주어도, 굉장히 많은 성능 변화가 있을 수 있다. 이것을 보여주는 단편적인 예시가 다음과 같은데, 힌튼 교수님이 그동안의 Weight initializing 은 잘못되었고, 이것을 말하기 위해서 다음과 같은 그래프를 제시하였는데, 보게되면, N 이라고 표시된 부분이 weight _ init 을 한 부분인데, 초기화를 적절히 잘해주었을때, 더욱 성능이 개선된 모델을 얻을 수 있다. RBM 모델 - 그래서 처음 힌튼 교수님이 제안한 모델은 Restricted_Boltzman_model 을 사용하여, 가중치값을 초기화시키는 건데, 지금은 조금 더 개선된 사비에르 초깃값 그리고 헤(He_initializat..