행렬의 4개 부분공간 (열공간, 행공간, 영공간, 좌영공간)과 직교보완 관계

열공간

$Ax$의 해석: $A$의 열의 선형결합 (조합)

→ $A$의 열 (재료)와 임의의 벡터 (조합법) $x$를 이용하여 각종 조합을 만들어내는 것을 $Ax$로 표현.

열공간의 개념

→ 모든 조합 $Ax$를 모아놓은 공간: $\lbrace Ax\vert x\in\mathbb R^n\rbrace$

→ $r$개의 열이 기저 (재료)가 되므로 $r$차원 공간

→ 결과물은 $m$차원 벡터이므로 $\mathbb R^m$의 부분공간

→ 기호로 나타내면 $C(A)$

열랭크, 기저, 열공간의 차원

→ 열공간의 기저가 독립인가 (재료가 순수한가)를 따지는 수학적 개념.

→ 예) 팬케익 재료로 물, 케익분말, 케익반죽 3가지 재료를 준비했다. 그런데 케익반죽 = 물 + 케익분말이므로 물, 케익분말 2가지 재료를 준비했다고 보는 것이 정확하다.

→ 이 상황을 수학의 언어로 번역하면, 행렬의 열은 $n=3$개이나, 열공간을 생성하는 데 $r=2$개의 독립열 (기저)인 (1, 2, 3), (4, 5, 6)만 필요하고, 나머지 $n-r=1$개의 종속열인 (39, 54, 69)는 독립열로 만들 수 있다: 7(1, 2, 3)+8(4, 5, 6). 즉, $\text{Column Rank} = \text{Dimension} = 2$이다.

→ 항상 $r\le n$이다. $r=n$은 모든 열이 독립인 경우를 표현한다. 이때 $r$이 최대치이므로 $A$를 Full Column Rank (列满秩)라고 한다.

행렬의 CR 분해

$$ \text{번역: 1열, 2열은 독립이고, 종속열인 3열은 7(1열)+8(2열)로 만들 수 있어요!} $$

→ 열공간의 관점: CR분해는 $A$의 독립열 (기저), 종속열과 개수, 그리고 종속열의 레시피를 알려준다.

→ 다른 관점 (행공간): $A$의 행공간의 기저와 차원을 알려준다. $R$의 2개 행 (기저)으로 $A$의 모든 행을 복원할 수 있으며, 복원 레시피는 $C$의 행이다.

→ CR분해를 통해 항상 [열공간의 차원 = 행공간의 차원]임을 알 수 있다. $C$에서 독립열의 개수만큼 $R$에서 독립행의 개수가 늘어난다. 따라서 열랭크 = 행랭크를 합쳐서 랭크라고 부른다.

$$ \begin{split} &\text{중요한 사실: Column Rank = Row Rank = Rank} \\ &\text{고급스러운 표현: } \dim C(A)=\dim C(A^T)=\text{Rank }A \\ &\text{번역: 독립열의 개수와 독립행의 개수는 항상 같아요!} \end{split} $$

→ 미스터리: 왜 이걸 CR 분해라고 부르는가? C는 Columns인 것 같고, R은 Rows인가? Recipe인가? 아니면 rref(A) without zero rows인가?

행공간

$y^TA$의 해석: $A$의 행의 선형결합 (조합)

→ $A$의 행 (재료)와 임의의 벡터 (조합법) $y$를 이용하여 각종 조합을 만들어내는 것을 $y^TA$로 표현.

행공간의 개념

→ 모든 조합 $y^TA$를 모아놓은 공간: $\lbrace y^TA\vert y\in\mathbb R^m\rbrace$

→ $r$개의 행이 기저가 되므로 $r$차원 공간

→ 결과물은 $n$차원 벡터이므로 $\mathbb R^n$의 부분공간

→ 기호로 나타내면 $C(A^T)$, 이 기호는 행공간을 전치행렬의 열공간으로 본다는 것을 암시함. (전치하면 행이 열이 되기 때문.)

행랭크, 기저, 행공간의 차원

→ 열공간과 마찬가지로 독립행의 개수와 관련된 개념.

영공간

행연산, rref, 피벗변수, 자유변수, …의 개념

→ 모두 $Ax=0$을 많이 풀다 보면 자연스럽게 정립되는 개념을 고급스럽게 표현한 것.

→ $Ax=0$? 상수항이 없는 선형 연립방정식을 행렬과 벡터로 간단히 표현한 것.

→ 행연산? 선형 연립방정식을 풀 때 방정식에 상수를 곱하고 다른 방정식과 빼거나 더하거나 하는 것 (방정식 조작)을 행렬로 표현한 것.

→ rref (= 기약행사다리꼴)? 행연산으로 행렬을 간단하게 만든 최종 형태. (유일하다.)

→ 자유변수, 피벗변수? 방정식의 최종 형태에서 자유롭게 정할 수 있는 변수를 자유변수, 그 외 변수를 피벗변수라고 함.

→ 자유열, 피벗열? rref에서 first one이 속한 열들이 피벗열이고, 그 외 열을 자유열이라고 함.

→ 피벗열의 개수는 항상 랭크와 같다는 것을 경험으로 알 수 있다 (설명하기 애매함. 보통 자명하다라고 표현). 따라서 피벗변수의 개수는 항상 $r$개. 모든 변수의 개수는 $n$이므로, 자유변수의 개수는 항상 $n$개.

$$ \begin{split} &Ax=0\text{을 많이 풀다 보면 알게 되는 사실 (= 자명한 사실):} \\ &\text{모든 열 개수 = 모든 변수 개수}=n \\ &\text{피벗열 개수 = 피벗변수 개수 = 랭크}=r \\ &\text{자유열 개수 = 자유변수 개수}=n-r \\ &\text{최종해는 자유변수 개수만큼의 벡터의 선형결합으로 생성 (레시피=자유변수)} \end{split} $$

영공간의 개념

→ $Ax=0$을 만족하는 모든 $x$의 집합: $\lbrace x\in\mathbb R^n\vert Ax=0\rbrace$ (= 해집합)

→ 집합의 원소는 $n$차원 벡터이므로 $\mathbb R^n$의 부분공간 (모든 변수의 개수 = $n$)

→ 항상 자유변수 개수만큼의 기저가 있으므로 $n-r$차원 공간

→ 기호는 $N(A)$

영공간과 행공간의 관계

→ 영공간과 행공간은 직교보완 (Orthogonal Complement) 관계이다 (직교여공간). 기호는 위첨자 $\perp$

$$ N(A)^{\perp}=C(A^T) $$

→ 직교 관계: 영공간의 모든 벡터와 행공간의 모든 벡터는 직교한다. (벡터의 직교는 벡터의 선형결합의 직교를 이끌어낸다.)

$$ Ax=0\implies x\perp (A\text{의 모든 행})\implies N(A)\perp C(A^T) $$

→ 보완 관계: 영공간과 행공간은 모두 $\mathbb R^n$의 부분공간이다. 영공간의 차원과 행공간의 차원을 더하면 정확히 모든 변수의 개수인 $n$과 같다.

$$ \dim N(A)+\dim C(A^T)=(n-r)+r=n $$

좌영공간

좌영공간의 개념

→ $y^TA=0^T$을 만족하는 모든 $y$의 집합: $\lbrace y\in\mathbb R^m\vert y^TA=0^T\rbrace$ (= 해집합)

→ 레시피 $y$가 왼쪽에 있어서 좌영공간 (왼쪽 영공간)이라고 함.

→ 양변에 전치를 적용해서 $A^Ty=0$처럼 흔한 형태로 바꾸는 것이 일반적.

→ 기호는 $N(A^T)$. 즉, 전치행렬의 영공간.

좌영공간과 열공간의 관계

→ 좌영공간과 행공간의 관계에서 $A\in\mathbb R^{m\times n}$ 대신 $A^T\in\mathbb R^{n\times m}$를 대입하면 좌영공간과 열공간도 마찬가지로 직교보완 관계라는 것을 바로 알 수 있음.

$$ N(A^T)^{\perp}=C(A) $$

$$ A^Ty=0\implies y\perp (A^T\text{의 모든 행})\implies N(A^T)\perp C(A) $$

$$ \dim N(A^T)+\dim C(A)=(m-r)+r=m $$

벡터공간의 직교분해

→ $\mathbb R^n$의 직교분해: 행공간과 영공간은 $\mathbb R^n$을 직교분해한다.

$$ \mathbb R^n=C(A^T)\oplus N(A) $$

→ $\mathbb R^m$의 직교분해: 열공간과 좌영공간은 $\mathbb R^m$을 직교분해한다.

$$ \mathbb R^m=C(A)\oplus N(A^T) $$