분류 전체보기
-
[PyTorch] Xavier_init() & He_init() 에 관하여카테고리 없음 2021. 5. 14. 20:03
Weight Init( ) 의 중요성 우리가 처음 딥러닝 모델을 정의 할 때, init( ) 값만 바꾸어 주어도, 굉장히 많은 성능 변화가 있을 수 있다. 이것을 보여주는 단편적인 예시가 다음과 같은데, 힌튼 교수님이 그동안의 Weight initializing 은 잘못되었고, 이것을 말하기 위해서 다음과 같은 그래프를 제시하였는데, 보게되면, N 이라고 표시된 부분이 weight _ init 을 한 부분인데, 초기화를 적절히 잘해주었을때, 더욱 성능이 개선된 모델을 얻을 수 있다. RBM 모델 - 그래서 처음 힌튼 교수님이 제안한 모델은 Restricted_Boltzman_model 을 사용하여, 가중치값을 초기화시키는 건데, 지금은 조금 더 개선된 사비에르 초깃값 그리고 헤(He_initializat..
-
머신러닝을 위한 클라우드 컴퓨팅 기초(1)카테고리 없음 2021. 5. 12. 22:27
1. 클라우드 기초 - "클라우드"는 인터넷을 통해 액세스할 수 있는 서버와 이러한 서버에서 작동하는 소프트웨어와 데이터베이스를 의미합니다. 클라우드 서버는 전 세계 데이터 센터에 위치합니다. 사용자와 기업은 클라우드 컴퓨팅을 사용하여 직접 물리적 서버를 관리하거나 자체 서버에서 소프트웨어 애플리케이션을 실행하지 않아도 됩니다. - 과거에는 웹서비스를 제공하기 위해서, 서비스 제공자는 서비스 호스팅에 필요한 모든 것을 직접 구축! 했어야 했다.(ex. 데이터 센터, 서버, 저장소, 네트워크 방화벽, 운영 관리인력 등등..) 하지만 이러한 구축 방법은 너무나 큰 비용과 시간을 초래한다. - IDC (Internet Data Center) 의 줄임말로 서버 운영에 필요한 공간, 네트워크 유지 보수 서비스를 ..
-
[Keras] Categorical_crossentrophy와 Sparse_categorical_crossentrophy머신러닝(MACHINE LEARNING)/간단하게 이론(Theory...) 2021. 5. 8. 02:15
- 케라스에서 Categorical_crossentrophy와 Sparse_categorical_crossentrophy 를 손실할수로 쓰겠지만, 두개의 차이는 엄연히 다르니 구분을 잘 해주어야 한다. - 먼저 Keras의 Loss 함수에서는 여러가지 인수들이 주어지는데, 이를 잘 구분해주어야 한다. 안그러면, 결과값에 영향을 많이 미치기 때문이다. 0. 인자 (Class Variables) 두개의 함수에서는 variable 로 from_logits 과 reduction 을 주게 되는데 이에 대해서 알아보자. 1. from_Logits - Keras API 에서는 from_Logits값이 Default(기본값)으로 False가 되어있습니다. 자 그럼 이 인자가 무슨 역활인지 알아봅시다. model 의 출..
-
정사영 (orthogonal Projection) 이란? 그리고 Rasso의 이해머신러닝(MACHINE LEARNING)/선형대수(Linear Algebra) 2021. 5. 5. 00:37
1. 정의 - 저번 포스팅을 보게 되면, 우리가 원하는 \(x\hat{} = (A^{T}A)^{-1}A^{T}b\) 로 표현이 가능했고, col A 공간에 있는 Ax 는 B 벡터를 colA 공간에 정사영으로 표현이 되므로 $$ b\hat{} = f(b) = Ax\hat{} = A(A^{T}A)^{-1}A^{T}b $$ 로 표현이 가능했다. - 이제는 좀 더 일반적인 식을 살펴보자 2. 계산식 만약 2차원 평면에서의 벡터가 있다고 했을 때, \( y\hat{} = proj_{L}y = \frac{yu}{uu}u\) 로 표현이 되는데, 다음 그림을 보자. - 그림을 보게 되면 y 라는 벡터를 Span(u)라는 공간에 정사영을 시키게 되면, \(y\hat{}\) 은 u와 y를 정사영한 벡터에 u의 크기벡터로 ..
-
Least Square Problem(최소제곱법) 과 Normal Eq(정규방정식)카테고리 없음 2021. 5. 4. 19:27
1. 정의 저번 포스팅 에서도 Normal eq를 다뤘었지만, 요번 포스팅은 좀 더 선형수학의 관점에서 Normal Eq를 다뤄 보려고 한다. 우선 Least Square Problem 의 정의부터 살펴보아야 하는데, - Given an overdetermined system 𝐴𝐱 ≃ 𝐛 where 𝐴 ∈ \(\mathbb{R}^{m \times n} \) , 𝐛 ∈ \(\mathbb{R}^{n} \), and 𝑚 ≫ 𝑛, a least squares solution \(\hat{x}\) is defined as \(\hat{x}\) = \(argmin\left \| B - A \right \|\) - Least Square Problem 을 풀기 위해서는 주어진 식이 Overdetermined 되었다는..
-
신경망(Neural_Net) 에서의 선형변환(Linear_Transform) 및 어파인 변환카테고리 없음 2021. 5. 4. 01:53
1. 선형변환의 기하학적 의미 저번 포스팅에서도 보았듯이, 선형변환은 f(v1 + v2) = f(v1) + f(v2) 로 표현이 된다 했었는데, 이를 벡터공간으로 바라보게 된다면, - 그림 [1] 에서는 [1,0] 과 [0,1] 의 격자벡터가 [3,1]과 [1,2] 로 나타내어지는 것을 볼 수 있다. - 그림 [2] 에서는 각 격자들이 선형변환이 될 떄 어떻게 움직이는지를 말해준다. 여기서 볼 수 있듯이, 선형변환을 하게 되면, 격자들이 선형변환이 된 후 에도, 선의 형태(Linear)하게 움직였다는 것이고, 격자들의 간격 또한 Linear 하게 펼쳐 졌다. (같은 차원에서의 변환이지만, 차원이 다를때에도 마찬가지이다.) 하지만, 우리가 보는 Neural Net 에서의 선형변환으로는 더 복잡한 표현들이 ..
-
선형변환(Linear_Transformation) 이란?머신러닝(MACHINE LEARNING)/선형대수(Linear Algebra) 2021. 5. 3. 23:52
1. 정의 -In mathematics, a linear map (also called a linear mapping, linear transformation, vector space homomorphism, or in some contexts linear function) is a mapping between two vector spaces that preserves the operations of vector addition and scalar multiplication. - 위키디피아에 정의된 내용은 다음과 같은데, 수식과 같이 표현하자면, - 벡터 필드 K 내부에 U와 V 2개의 벡터공간이 있다고 해보자. 그렇다면, 식 F_matrix: V->W로 바꿔주는 F_matrix(행렬) 에 대해 F(C*..
-
선형 독립(Linear Independence) 란?카테고리 없음 2021. 5. 2. 00:10
- 선형 독립에 대한 많은 정의가 있지만,이번 포스팅은 머신러닝을 바탕으로 선형독립에 관한 시각을 해석하겠다. 1. 정의 - Given a set of vectors v1, ⋯ , v𝑝 ∈ ℝ𝑛 , check if v𝑗 can be represented as a linear combination of the previous vectors v1, v2, … , v𝑗−1 for 𝑗 = 1, … , 𝑝, e.g., -v𝑗 ∈ Span v1, v2, … , v𝑗−1 for some 𝑗 = 1, … , 𝑝??? • If at least one such v𝑗 is found, then {v1, ⋯ , v𝑝} is linearly dependent. • If no such v𝑗 is found, then {v1, ⋯..