반응형
normal eq
-
Normal Equation(정규방정식)머신러닝(MACHINE LEARNING)/간단하게 이론(Theory...) 2021. 4. 19. 12:22
- Normal Equation 이란. 데이터 분석에서 회귀를 진행했을때, 오차를 줄여 줄 수있도록 하는 방법론 중 하나이다. 네이버 지식백과에서는 잔차의 제곱의 합을 최소로 한다는 조건, 즉 최소제곱법에 의하여 얻어지는, 미지수의 개수와 같은 수의 방정식이다. 라고 정의가 되어있는데, 이는 곧 전체 오차의 합을 줄여나가 회귀식을 구하는데 목적이 있다 할 수 있다. - Cost Function을 최소화 하는 법 여기서 argmin 은 최소가 될때까지 반복시키겠다는 의미이다. 따라서 cost function을 최소화 하기 위해, 각 항들의 오차를 제곱하여, 최소가 될때까지 반복시키는 것이 우리가 원하는 normal eq의 최종 형태이다. - 일차식에서의 회귀식 표현해보기 식을 보게 되면, 좌측에 일차식을 ..