직교성과 사영

직교 벡터와 직교 부분공간

1장에서 두 벡터의 내적이 0이면 둘이 수직이라는 것을 보았습니다. 이것을 정의로 삼습니다.

직교가 왜 "간섭하지 않는다"는 뜻인지는 길이를 재 보면 드러납니다. $\lVert\mathbf u+\mathbf v\rVert^2 = (\mathbf u+\mathbf v)^{\mathsf T}(\mathbf u+\mathbf v) = \lVert\mathbf u\rVert^2 + 2\mathbf u^{\mathsf T}\mathbf v + \lVert\mathbf v\rVert^2$이고, 가운데의 교차항이 바로 내적입니다. 직교하면 교차항이 사라져 에너지(제곱 길이)가 그냥 더해집니다.

이제 벡터 하나가 아니라 공간 전체끼리의 직교를 생각합니다.

조건이 생각보다 강합니다. 방의 바닥과 벽은 "수직으로 만난다"고 말하지만 직교 부분공간이 아닙니다. 바닥과 벽이 만나는 모서리 직선 위의 벡터는 두 평면 모두에 들어 있고, 자기 자신과의 내적은 0이 아니기 때문입니다. 직교 부분공간은 영벡터 말고는 공통 원소가 없습니다($\mathbf v \in V\cap W$이면 $\mathbf v^{\mathsf T}\mathbf v = 0$이므로 $\mathbf v = \mathbf 0$). 그래서 $\mathbb R^3$에서 두 평면은 결코 직교 부분공간이 될 수 없고, 직교하는 쌍은 "직선과 평면" 또는 "직선과 직선"입니다.

직교 여공간과 네 부분공간

그렇습니다. 그리고 이 관찰은 "수직인 것 전부"라는 개념으로 정리됩니다.

계수가 $r$이면 행공간과 영공간의 차원은 $r$과 $n-r$이고, 열공간과 좌영공간의 차원은 $r$과 $m-r$입니다(6장). 직교 여공간이므로 차원이 정확히 맞아떨어집니다. 그 결과 $\mathbb R^n$의 모든 벡터는 하나뿐인 방법으로 "행공간 조각 + 영공간 조각"으로 나뉩니다.

아래 시뮬레이터에서 $\mathbb R^3$의 직선과 그 직교 여공간(평면)을 돌려 봅니다. 직선의 방향을 바꾸면 평면이 함께 돌아 언제나 직각을 유지하고, 임의의 벡터 $\mathbf x$가 두 조각으로 나뉩니다.

2×2 행렬로 네 부분공간을 모두 한 번에 볼 수도 있습니다. 계수가 1인 행렬을 고르면 행공간과 영공간이 입력 평면에서 수직인 두 직선이 되고, 열공간과 좌영공간이 출력 평면에서 수직인 두 직선이 됩니다.

직선으로의 사영

직선 위의 점은 $\mathbf p = \hat x\,\mathbf a$ 꼴입니다. 나머지를 오차(error) $\mathbf e = \mathbf b - \mathbf p$라 하면, 조건은 $\mathbf e \perp \mathbf a$ 하나입니다.

이 $\mathbf p$를 $\mathbf b$의 $\mathbf a$ 방향 사영(projection)이라 합니다. 1장에서 "그림자"로 처음 본 그 벡터입니다. 이 점이 특별한 이유는 직선 위에서 $\mathbf b$에 가장 가까운 점이기 때문입니다. 직선 위의 다른 점 $\mathbf q$를 잡으면 $\mathbf b - \mathbf q = \mathbf e + (\mathbf p - \mathbf q)$이고 두 조각이 직교하므로, 피타고라스에 의해 $\lVert\mathbf b - \mathbf q\rVert^2 = \lVert\mathbf e\rVert^2 + \lVert\mathbf p-\mathbf q\rVert^2 \ge \lVert\mathbf e\rVert^2$입니다.

$\mathbf p$를 $\mathbf b$에 행렬을 곱한 것으로 쓸 수 있습니다. 스칼라 $\hat x$는 앞으로 옮겨도 되므로 $\mathbf p = \mathbf a\,\hat x = \mathbf a\dfrac{\mathbf a^{\mathsf T}\mathbf b}{\mathbf a^{\mathsf T}\mathbf a} = \dfrac{\mathbf a\mathbf a^{\mathsf T}}{\mathbf a^{\mathsf T}\mathbf a}\mathbf b$입니다.

부분공간으로의 사영과 정규 방정식

원리는 같습니다. 가장 가까운 점 $\mathbf p = A\hat{\mathbf x}$에서 오차 $\mathbf e = \mathbf b - A\hat{\mathbf x}$는 평면 전체, 곧 모든 열에 수직이어야 합니다. 열마다 내적이 0이라는 조건 $n$개를 한 줄로 모으면 $A^{\mathsf T}\mathbf e = \mathbf 0$입니다. 정리 8.2의 말로는 "오차는 좌영공간 $N(A^{\mathsf T}) = C(A)^\perp$에 있다"입니다.

열이 독립이면 $\hat{\mathbf x} = (A^{\mathsf T}A)^{-1}A^{\mathsf T}\mathbf b$이고, $\mathbf p = A\hat{\mathbf x}$에서 사영 행렬이 나옵니다.

최소제곱: 풀 수 없는 방정식의 가장 좋은 답

행렬로 쓰면 $A\mathbf x = \mathbf b$이고, $A = \begin{bmatrix}1&0\\1&1\\1&2\end{bmatrix}$, $\mathbf x = (C, D)$, $\mathbf b = (6,0,0)$입니다. 예제 8.3과 똑같은 행렬입니다. 해가 없다는 것은 $\mathbf b$가 열공간 밖에 있다는 뜻이고, "가장 그럴듯하다"를 "오차 벡터가 가장 짧다", 즉 잔차 제곱합 $\lVert A\mathbf x - \mathbf b\rVert^2$이 가장 작다로 정하면 답은 이미 구했습니다. 열공간에서 $\mathbf b$에 가장 가까운 점은 사영 $\mathbf p$이고, 그 계수가 $\hat{\mathbf x} = (5, -3)$입니다. 최선의 직선은 $y = 5 - 3t$입니다.

두 증명은 같은 사실을 다른 말로 합니다. 미적분은 "기울기가 0인 곳", 기하는 "오차가 수직인 곳"이라고 말하는데, 이차 함수 $E$의 기울기가 바로 $-2A^{\mathsf T}\mathbf e$이기 때문입니다. 9장 최적화 관점에서는 $E$가 볼록한 그릇 모양이라 바닥이 하나뿐인 것이고, 그 바닥을 정규 방정식이 한 번에 찾습니다.

잔차 제곱인가, 다른 것인가

왜 오차의 제곱합일까요? 절댓값의 합($L^1$)이나 가장 큰 오차($L^\infty$)를 줄일 수도 있습니다(1장의 노름). 제곱합을 고르는 이유는 셋입니다. 첫째, 미분해서 0으로 놓으면 선형 방정식이 나와 한 번에 풀립니다. 둘째, 기하적으로 피타고라스가 성립하는 유클리드 길이라 "수직"이라는 그림이 생깁니다. 셋째, 잡음이 독립인 정규 분포를 따르면 최소제곱 해가 최대 가능도 추정과 같습니다. 대신 큰 오차를 제곱해 크게 벌하므로 이상값에 약하다는 대가가 있습니다. 다음 절의 시뮬레이터에서 확인합니다.

가중 최소제곱

측정마다 믿을 만한 정도가 다르면 잔차마다 가중치 $w_i \gt 0$를 붙여 $\sum w_i e_i^2$을 최소로 합니다. 대각 행렬 $W = \operatorname{diag}(w_i)$를 쓰면

경고: AᵀA는 조건수를 제곱한다

직선 맞추기: 센서 검량선

데이터 $(t_i, y_i)$, $i = 1,\dots,m$에 대해 $A$의 첫 열은 모두 1, 둘째 열은 $t_i$입니다. 정규 방정식의 성분을 쓰면 합만으로 이루어진 2×2 연립방정식이 됩니다.

다항식 맞추기와 과적합

다항식도 계수에 대해서는 선형이므로 똑같이 최소제곱입니다. $A$의 $j$번째 열이 $t_i^{\,j}$인 방데르몽드 행렬(Vandermonde matrix)을 만들고 정규 방정식을 풉니다. "선형" 최소제곱의 선형은 $t$가 아니라 미지수 $c_j$에 대한 것입니다. 지수 함수 $y = Ce^{kt}$처럼 계수에 비선형인 모델은 로그를 취하거나($\ln y = \ln C + kt$) GPS처럼 반복 선형화로 다룹니다.

잔차가 0이 된다고 좋은 것은 아닙니다. 데이터에는 진짜 법칙과 함께 잡음이 들어 있는데, 차수가 지나치게 높으면 곡선이 잡음까지 따라 휘어 새 데이터에서는 크게 틀립니다. 이것이 과적합(overfitting)입니다. 모델을 만들 때 쓴 데이터(훈련 데이터)의 오차는 차수와 함께 계속 줄지만, 쓰지 않은 데이터(시험 데이터)의 오차는 어느 차수에서 바닥을 찍고 다시 올라갑니다. 또 높은 차수에서는 방데르몽드 행렬의 열들($t^9$과 $t^{10}$은 [−1, 1]에서 거의 같은 모양)이 거의 종속이 되어 $A^{\mathsf T}A$의 조건수가 폭발합니다. 정리 8.7의 경고가 실제로 나타나는 곳입니다.

응용: GPS는 위치를 어떻게 계산하나

미지수를 $\mathbf z = (x, y, b)$(2차원 예)로 두면 모델은 $\rho_i \approx f_i(\mathbf z) = \lVert\mathbf s_i - (x,y)\rVert + b$입니다. $f_i$는 $x, y$에 대해 비선형이라 바로 최소제곱을 쓸 수 없습니다. 그래서 현재 추정값 $\mathbf z_k$ 근처에서 1차 테일러 근사로 선형화합니다.

보통 몇 번 만에 수렴합니다. 위성이 미지수 수(3차원에서는 4)보다 많으면 잡음이 평균되어 정확도가 좋아지고, 위성들이 하늘 한쪽에 몰려 있으면 $J$의 행들이 비슷해져 $J^{\mathsf T}J$가 특이 행렬에 가까워집니다. GPS 분야에서는 이 기하적 나쁨을 정밀도 저하율(DOP, dilution of precision)이라는 수치로 나타내는데, $(J^{\mathsf T}J)^{-1}$의 대각 원소에서 계산합니다.

이 도구가 쓰이는 곳

"수직으로 내린 발이 가장 가깝다"는 원리와 정규 방정식은 데이터가 있는 곳 어디에나 있습니다.