선형 독립(Linear Independence) 란?

- 선형 독립에 대한 많은 정의가 있지만,이번 포스팅은 머신러닝을 바탕으로 선형독립에 관한 시각을 해석하겠다.

 

1. 정의

---

- Given a set of vectors v1, ⋯ , v𝑝 ∈ ℝ𝑛 , check if v𝑗 can be represented as a linear combination of the previous vectors v1, v2, … , v𝑗−1 for 𝑗 = 1, … , 𝑝, e.g.,

-v𝑗 ∈ Span v1, v2, … , v𝑗−1 for some 𝑗 = 1, … , 𝑝???

• If at least one such v𝑗 is found, then {v1, ⋯ , v𝑝} is linearly dependent.

• If no such v𝑗 is found, then {v1, ⋯ , v𝑝} is linearly independent.

 

- 만약 v1, ⋯ , v𝑝 의 벡터들이 Rn 에 존재하고, 만약

• Vj 의 벡터가 {v1, ⋯ , v𝑝} 의 벡터 Span 에 포함된다면,  Vj는 선형 독립이라고 하고, 
• Vj 벡터가 {v1, ⋯ , v𝑝} 의 벡터 Span 에 포함안된다면, Vj는 선형 의존이라 한다.

 

- 좀 더 쉽게 설명 하자면, 행렬을 Vector 의 열공간[세로 공간으로]으로 해석하였을 시 ,

행렬 A 는  위와 같이 A = [a1, a2, a3, ... , am] 으로 표현 된게 되는데, A의 벡터 공간 Span[a1,a2,a3, ... am] 에서 새로운 Vj 벡터의 해석관점에서 바라보게 되었을시,

• Vj가 [a1,a2,a3, ... , am]들과 선형 변환! 으로 표현 될 수 없다면, 선형 독립이고,
• Vj 가 [a1,a2,a3, ... , am]들과 선형 변환! 으로 표현 될 수 있다면, 즉 [a1,a2, ... am] 의 조합으로 표현 될 수 있다면 선형의존(Linear Dependence) 가 되게 된다.

- 머신러닝의 관점에서 볼 때는, Feature 의 개수가 위처럼 m개가 있을 때, vector Vj가 선형독립이라 하면, 새로운 feature로 받아들여지는 것이고, 만약 반대로 선형의존 관계라 했을시, feature의 개수가 늘어나지 않고, 데이터에 대해 새로운 해석을 하지 못하고, 성능개선에 방해가 되므로 제거해야 한다.

 

 

 

 

 

2.  AX = B 에서 B = [0,0,0, ... 0] 일때 Linear Dependence 하다면?

---

행렬 A =[ v1,v2,v3, ... ,vp] 가 존재 했을시, 

AX = B 에서 B 는 0 만을 가지는 벡터 즉, B = [0,0,0, ...0] 벡터 일때,

로 표현이 되고, A의 Col v 와 X 의 Xj  가 결합되어져서 B = 0 을 만족시키게 된다.

 

여기서 제일 눈여겨볼 Solution 은 x1 = x2 = x3 = x4 = x5 = ... xp =0 인데 , 만약 x1, x2, x3, ... xn의 값들 중 x1=x2=x3 ... xn =0 인 값이 아닌 다른 값이 존재하게 된다면, 

XpVp = -(X1V1+X2V2 + X3V3 + ... ) 로 표현이 되게 된다. 즉 , 선형 변환으로 표현이 되게 된다. 정리 하자면, 애초에 정의시, V1, V2, V3 ... Vn 이 Linear independent(선형 독립) 시에는 x1=x2=x3=...xn=0 이외의 값을 가지게 될 시 , V1,V2, V3, ... Vn 은 선형결합이 불가능하게 된다.

 

 

-(정리) 말이 좀 복잡해 졌는데, 결국은 

AX=B 에서 B=[0,0,0,0 ... 0] 일 때, x1=x2=x3= ... xn =0 이외의 값을 x1,x2,x3,x4,...xn 이 가지게 되었을 시,

XpVp = -(X1V1+X2V2 + X3V3 + ... ) 

의 꼴로 Vp가 선형 변환 꼴로 표현이 되게 되므로,  AX=[0] 꼴에서 X->x1=x2=x3=...xn=0 꼴만을 해로 가지게 되었을 시,행렬 A 의 col space 가 linear dependent( 선형독립 ) 이라 할 수 있겠다.