Chapter 13

대칭 행렬과 양의 정부호

11장에서 본 고유벡터는 대개 서로 비스듬했고, 고유값은 복소수일 수도 있었습니다. 그런데 공학에서 만나는 행렬의 상당수는 특별합니다. 응력 텐서, 스프링 계의 강성 행렬, 공분산 행렬, 헤세 행렬, 관성 텐서는 모두 대칭( $S^{\mathsf T} = S$ )입니다. 대칭 행렬의 고유값은 언제나 실수이고, 고유벡터는 언제나 서로 수직으로 고를 수 있습니다. 그래서 대칭 행렬이 하는 일은 단 하나, 서로 수직인 축을 따라 늘이거나 줄이는 것입니다. 이 장에서는 이 사실(스펙트럼 정리)에서 출발해, 그 늘이는 배율이 모두 양수인 양의 정부호 행렬이 왜 "에너지", "볼록한 그릇", "안정한 평형"과 같은 말인지 따라갑니다.

대칭 행렬의 고유값이 실수이고 서로 다른 고유값의 고유벡터가 직교함을 증명하고, 스펙트럼 정리 $S = Q\Lambda Q^{\mathsf T}$ 를 랭크 1 사영의 합으로 읽는다.
이차 형식 $\mathbf{x}^{\mathsf T}S\mathbf{x}$ 의 등위선이 타원·쌍곡선·평행선 중 무엇인지 고유값의 부호로 판정하고, 주축을 고유벡터로 찾는다.
양의 정부호를 판정하는 다섯 가지 방법(고유값, 피벗, 선행 주소행렬식, 에너지, $A^{\mathsf T}A$ )이 같은 말임을 이해하고 손으로 판정한다.
콜레스키 분해 $S = LL^{\mathsf T}$ 를 계산하고, 피벗과의 관계와 계산상의 장점을 안다.
스프링–질량 계의 강성 행렬 $K = A^{\mathsf T}CA$ 를 만들고, 양의 정부호가 "변형하면 에너지가 든다"는 뜻임을 확인한다.
헤세 행렬로 극소·극대·안장점을 판정하고, 경사 하강법의 수렴 속도가 헤세 행렬의 조건수로 정해지는 이유를 설명한다.
레일리 몫의 최댓값·최솟값이 고유값임을 보이고, 모어 원으로 주응력과 주방향을 구한다.

이 수식이 없었다면압력 용기와 다리의 "주응력"

보일러 동체, 비행기 동체, 다리의 강판 한 점에는 방향마다 다른 힘이 걸립니다. 가로로 자른 면에는 인장, 비스듬히 자른 면에는 인장과 미끄러지게 하는 전단이 함께 걸리지요. 재료는 어느 방향으로든 가장 크게 당겨지는 면에서 먼저 찢어지는데, 자를 수 있는 면은 무한히 많습니다. 모든 방향을 하나하나 시험해 볼 수는 없습니다.

19세기 초 코시(Augustin-Louis Cauchy)는 한 점의 응력 상태가 대칭 행렬 하나(응력 텐서)로 완전히 기술된다는 것을 보였고, 1882년 독일의 공학자 모어(Christian Otto Mohr)는 면을 돌릴 때 응력이 어떻게 바뀌는지를 원 하나로 그리는 도식을 내놓았습니다. 선형대수로 말하면 답은 간단합니다. 응력 텐서의 고유벡터가 전단이 0인 면(주방향)이고, 고유값이 그 면의 인장·압축(주응력)이며, 가장 큰 고유값이 어떤 방향으로 자른 면보다도 큰 최대 인장입니다. 대칭 행렬이라서 이 축들은 서로 수직입니다.

어느 면이 먼저 찢어지나→면은 무한히 많다→대칭 행렬의 고유분해→주응력 2개(3차원은 3개)

스펙트럼 정리: 수직인 축을 따라 늘이기만 한다

고유벡터가 비스듬하면 무엇이 불편한가

11장에서 대각화 $A = X\Lambda X^{-1}$ 를 배웠습니다. 그런데 $X$ 의 열(고유벡터)이 서로 비스듬하면 $X^{-1}$ 을 따로 계산해야 하고, 고유벡터가 거의 평행하면 $X^{-1}$ 이 거대해져 계산이 불안정해집니다. 고유값이 복소수가 되어 그림으로 그릴 수 없는 경우도 있습니다. 어떤 행렬이면 이런 걱정이 전혀 없을까요?

답은 대칭 행렬(symmetric matrix), 즉 $S^{\mathsf T} = S$ 인 행렬입니다. 대각선을 거울로 삼아 위아래가 같은 행렬이지요. 이 조건 하나가 고유값 문제를 놀랍도록 깔끔하게 만듭니다. 먼저 두 가지 사실을 증명합니다.

정리 13.1 (대칭 행렬의 고유값은 실수다) 실수 대칭 행렬

S

의 모든 고유값은 실수이다.

증명. $S\mathbf{x} = \lambda\mathbf{x}$ , $\mathbf{x} \ne \mathbf{0}$ 이라 하고 $\lambda$ 와 $\mathbf{x}$ 가 복소수일 수도 있다고 하자. 켤레를 취하면 $S$ 는 실수이므로 $S\bar{\mathbf{x}} = \bar\lambda\bar{\mathbf{x}}$ 이다. 이제 $\bar{\mathbf{x}}^{\mathsf T}S\mathbf{x}$ 를 두 가지로 계산한다. $\bar{\mathbf{x}}^{\mathsf T}(S\mathbf{x}) = \lambda\,\bar{\mathbf{x}}^{\mathsf T}\mathbf{x}, \qquad (\bar{\mathbf{x}}^{\mathsf T}S)\mathbf{x} = (S^{\mathsf T}\bar{\mathbf{x}})^{\mathsf T}\mathbf{x} = (S\bar{\mathbf{x}})^{\mathsf T}\mathbf{x} = \bar\lambda\,\bar{\mathbf{x}}^{\mathsf T}\mathbf{x}.$ $\bar{\mathbf{x}}^{\mathsf T}\mathbf{x} = \sum |x_i|^2 > 0$ 이므로 $\lambda = \bar\lambda$ , 곧 $\lambda$ 는 실수다. 두 번째 등식에서 $S^{\mathsf T} = S$ 를 썼다는 점이 핵심이다. ∎

정리 13.2 (서로 다른 고유값의 고유벡터는 직교한다)

S\mathbf{x}_1 = \lambda_1\mathbf{x}_1

S\mathbf{x}_2 = \lambda_2\mathbf{x}_2

이고

\lambda_1 \ne \lambda_2

이면

\mathbf{x}_1^{\mathsf T}\mathbf{x}_2 = 0

이다.

증명. $\lambda_1\mathbf{x}_1^{\mathsf T}\mathbf{x}_2 = (S\mathbf{x}_1)^{\mathsf T}\mathbf{x}_2 = \mathbf{x}_1^{\mathsf T}S^{\mathsf T}\mathbf{x}_2 = \mathbf{x}_1^{\mathsf T}S\mathbf{x}_2 = \lambda_2\mathbf{x}_1^{\mathsf T}\mathbf{x}_2$ . 따라서 $(\lambda_1 - \lambda_2)\,\mathbf{x}_1^{\mathsf T}\mathbf{x}_2 = 0$ 이고, $\lambda_1 \ne \lambda_2$ 이므로 $\mathbf{x}_1^{\mathsf T}\mathbf{x}_2 = 0$ . ∎

고유값이 겹치는 경우(예: 단위 행렬)에도 그 고유공간 안에서 그람–슈미트로 수직인 기저를 고를 수 있고, 대칭 행렬은 고유벡터가 모자라는 일이 없다는 것이 알려져 있습니다(슈어 분해에서 상삼각 행렬이 대칭이면 대각이 된다는 논증). 이렇게 해서 선형대수에서 가장 아름다운 정리가 나옵니다.

정리 13.3 (스펙트럼 정리) 모든 실수 대칭 행렬

S

는

S = Q\Lambda Q^{\mathsf T}, \qquad Q^{\mathsf T}Q = I, \qquad \Lambda = \operatorname{diag}(\lambda_1, \dots, \lambda_n)

로 분해된다.

Q

의 열은 정규직교 고유벡터

\mathbf{q}_1, \dots, \mathbf{q}_n

\Lambda

의 대각은 실수 고유값이다. 거꾸로, 이렇게 쓸 수 있는 행렬은

(Q\Lambda Q^{\mathsf T})^{\mathsf T} = Q\Lambda Q^{\mathsf T}

이므로 대칭이다.

증명 아이디어. 모든 정사각 행렬은 직교 행렬 $Q$ 로 $A = QTQ^{\mathsf T}$ , $T$ 는 상삼각으로 쓸 수 있다(실수 고유값일 때의 슈어 분해, 9장의 QR 알고리즘이 이것을 계산한다). $A$ 가 대칭이면 $T = Q^{\mathsf T}AQ$ 도 대칭인데, 대칭인 상삼각 행렬은 대각 행렬뿐이다. ∎

$Q^{-1} = Q^{\mathsf T}$ 이므로 역행렬을 따로 구할 필요가 없고, 직교 행렬은 길이와 각도를 바꾸지 않으므로 계산도 안정합니다. 그림으로 읽으면 $S\mathbf{x} = Q\Lambda Q^{\mathsf T}\mathbf{x}$ 는 ① $Q^{\mathsf T}$ : 고유벡터 축으로 좌표를 돌려 읽고, ② $\Lambda$ : 각 축을 $\lambda_i$ 배 늘이고, ③ $Q$ : 다시 원래 좌표로 돌려놓는 세 단계입니다. 회전–늘이기–되돌리기. 그래서 단위원은 고유벡터 방향을 축으로 하는 타원이 됩니다.

그림 13-1. 왼쪽: 대칭 행렬은 단위원(점선)을 고유벡터 방향을 주축으로 하는 타원으로 보낸다. 긴 반지름 = λ₁ = 3, 짧은 반지름 = λ₂ = 1. 오른쪽: 비대칭 행렬의 고유벡터는 비스듬하고(좌표상 (1, 0)과 (1, −1)), 타원의 주축과도 일치하지 않는다. 비대칭 행렬의 타원 축은 14장의 특이벡터가 알려 준다.

예제 13.1 (손으로 하는 스펙트럼 분해)

S = \begin{bmatrix}2 & 1\\ 1 & 2\end{bmatrix}

① 특성 방정식 $\det(S - \lambda I) = (2-\lambda)^2 - 1 = 0$ 에서 $\lambda_1 = 3$ , $\lambda_2 = 1$ . ② $(S - 3I)\mathbf{x} = \mathbf{0}$ 에서 $-x_1 + x_2 = 0$ → $\mathbf{q}_1 = (1, 1)/\sqrt2$ . $(S - I)\mathbf{x} = \mathbf{0}$ 에서 $x_1 + x_2 = 0$ → $\mathbf{q}_2 = (1, -1)/\sqrt2$ . 확인: $\mathbf{q}_1^{\mathsf T}\mathbf{q}_2 = (1 - 1)/2 = 0$ . ③ 따라서 $S = \underbrace{\tfrac{1}{\sqrt2}\begin{bmatrix}1 & 1\\ 1 & -1\end{bmatrix}}_{Q}\begin{bmatrix}3 & 0\\ 0 & 1\end{bmatrix}\underbrace{\tfrac{1}{\sqrt2}\begin{bmatrix}1 & 1\\ 1 & -1\end{bmatrix}}_{Q^{\mathsf T}}.$ 이 $Q$ 는 대칭이기도 해서 $Q^{\mathsf T} = Q$ 이다(우연이다). 고유값 검산: 합 $3 + 1 = 4 = \operatorname{tr} S$ , 곱 $3 \cdot 1 = 3 = \det S$ .

아래 시뮬레이터에서 대칭 행렬의 세 칸 $a, b, d$ 를 바꿔 보세요. 점 $\mathbf{x}$ 는 단위원 위를 움직이고, 화살표 $S\mathbf{x}$ 는 타원 위를 움직입니다. 두 화살표가 한 직선에 겹치는 곳이 고유벡터입니다. '비대칭으로'를 켜고 왼쪽 아래 칸 $c$ 를 따로 움직이면 고유벡터가 비스듬해지고, 결국 복소수가 되어 사라지는 것도 볼 수 있습니다.

SIMULATOR

대칭 행렬의 고유분해: 단위원 → 타원

x를 원 위에서 끌어 보세요

a (1행 1열) b (대각 밖) d (2행 2열) 비대칭으로 (왼쪽 아래 칸 c 따로) c (2행 1열, 비대칭일 때) Sx를 랭크 1 항 두 개로 나누어 보기

고유값 λ₁, λ₂—

고유벡터 사이 각—

xᵀSx (x가 단위 벡터)—

x와 Sx 사이 각—

—

해볼 것: ① 'x를 고유벡터로'를 누르면 x와 Sx가 겹칩니다. 다른 고유벡터와 정확히 90°인지 각도 표시를 보세요. ② b를 0으로 하면 고유벡터가 좌표축이 됩니다(이미 대각 행렬). ③ '비대칭으로'를 켜고 c를 −1쯤으로 내리면 고유벡터 사이 각이 줄다가, 판별식이 음수가 되는 순간 실수 고유벡터가 사라집니다. 대칭일 때는 a, b, d를 어떻게 바꿔도 이런 일이 없습니다. ④ 랭크 1 항 보기를 켜면 Sx가 λ₁(q₁ᵀx)q₁과 λ₂(q₂ᵀx)q₂ 두 화살표의 합으로 나뉩니다(다음 절). 모델: 2×2 실수 행렬, 고유값은 이차 방정식의 근으로 계산합니다.

랭크 1 사영의 합으로 읽기

행렬 하나를 "부품"으로 나눌 수 있을까

소리를 주파수 성분으로 나누면 어떤 성분이 큰지, 어떤 성분은 버려도 되는지 알 수 있습니다. 행렬도 그렇게 "가장 중요한 방향부터" 나누어 볼 수 있을까요?

$S = Q\Lambda Q^{\mathsf T}$ 를 행렬 곱의 "열 × 행" 방법(2장의 외적의 합)으로 전개하면 다음을 얻습니다.

S = \lambda_1\mathbf{q}_1\mathbf{q}_1^{\mathsf T} + \lambda_2\mathbf{q}_2\mathbf{q}_2^{\mathsf T} + \cdots + \lambda_n\mathbf{q}_n\mathbf{q}_n^{\mathsf T}, \qquad S\mathbf{x} = \sum_i \lambda_i\,(\mathbf{q}_i^{\mathsf T}\mathbf{x})\,\mathbf{q}_i

P_i = \mathbf{q}_i\mathbf{q}_i^{\mathsf T}

는 단위 벡터

\mathbf{q}_i

가 놓인 직선으로의 직교 사영 행렬이다(1장의 사영, 2장의

P^2 = P

). 서로 다른

i, j

에 대해

P_iP_j = \mathbf{q}_i(\mathbf{q}_i^{\mathsf T}\mathbf{q}_j)\mathbf{q}_j^{\mathsf T} = 0

이고,

P_1 + \cdots + P_n = QQ^{\mathsf T} = I

이다.

즉 대칭 행렬이 벡터 $\mathbf{x}$ 에 하는 일은 ① $\mathbf{x}$ 를 서로 수직인 고유벡터 방향 성분으로 쪼개고( $\mathbf{q}_i^{\mathsf T}\mathbf{x}$ ), ② 각 성분을 $\lambda_i$ 배 하고, ③ 다시 더하는 것입니다. 성분끼리 섞이지 않는다는 것이 핵심입니다. 앞 시뮬레이터의 '랭크 1 항 보기'에서 두 색 화살표가 바로 이 두 항입니다.

그림 13-2. 예제 13.1의 행렬을 랭크 1 항 두 개로 나눈 것. 각 항의 행 합과 열 합을 보면 q₁q₁ᵀ는 (1, 1) 방향, q₂q₂ᵀ는 (1, −1) 방향만 남기는 사영임을 알 수 있다.

이 분해는 세 가지 중요한 결과를 줍니다.

함수를 행렬에 적용하기. $S^k = Q\Lambda^kQ^{\mathsf T} = \sum\lambda_i^k P_i$ , $S^{-1} = \sum \lambda_i^{-1}P_i$ , $e^{St} = \sum e^{\lambda_i t}P_i$ . 행렬의 함수는 고유값의 함수다. 특히 고유값이 모두 양수면 제곱근 $\sqrt S = \sum\sqrt{\lambda_i}P_i$ 도 정의된다.
최선의 근사. 가장 큰 $|\lambda_i|$ 몇 개만 남긴 합이 같은 계수(랭크)의 대칭 행렬 중 가장 가까운 근사다. 일반 행렬로 확장한 것이 14장의 특이값 분해와 15장의 PCA다.
분광 해석. "스펙트럼"이라는 이름 그대로, 진동계의 행렬을 분해하면 고유값이 고유진동수², 사영이 각 모드에 해당한다(MathBook의 건물의 공진 모드).

예제 13.2 (사영의 합으로 Sⁿx 계산하기) 예제 13.1의

S

와

\mathbf{x} = (1, 0)

에 대해

S^{10}\mathbf{x}

를 구하자.

$\mathbf{q}_1^{\mathsf T}\mathbf{x} = 1/\sqrt2$ , $\mathbf{q}_2^{\mathsf T}\mathbf{x} = 1/\sqrt2$ 이므로 $S^{10}\mathbf{x} = 3^{10}\cdot\tfrac{1}{\sqrt2}\mathbf{q}_1 + 1^{10}\cdot\tfrac{1}{\sqrt2}\mathbf{q}_2 = \tfrac{59049}{2}(1, 1) + \tfrac12(1, -1) = (29525, 29524)$ . 행렬을 열 번 곱하지 않았다. 그리고 결과가 거의 $\mathbf{q}_1$ 방향이라는 것도 바로 보인다. 큰 고유값의 성분이 다른 성분을 압도하기 때문이다(16장의 거듭제곱법).

이차 형식: 타원, 쌍곡선, 그리고 주축

5x² + 4xy + 2y² = 1은 어떤 곡선인가

궤도 계산, 렌즈 설계, 측량 오차의 신뢰 영역에서 $ax^2 + 2bxy + cy^2 = 1$ 꼴의 곡선이 자주 나옵니다. $xy$ 항이 있으면 곡선이 비스듬히 놓여 있어 모양을 알기 어렵습니다. 타원일까요, 쌍곡선일까요? 축은 어느 방향이고 반지름은 얼마일까요?

이런 식은 대칭 행렬로 깔끔하게 쓸 수 있습니다. 이것을 이차 형식(quadratic form)이라 합니다.

q(\mathbf{x}) = \mathbf{x}^{\mathsf T}S\mathbf{x} = \begin{bmatrix}x & y\end{bmatrix}\begin{bmatrix}a & b\\ b & c\end{bmatrix}\begin{bmatrix}x\\ y\end{bmatrix} = ax^2 + 2bxy + cy^2

xy

항의 계수

2b

가 대각 밖 두 칸에 반씩 나뉜다. 비대칭 행렬

A

로 써도

\mathbf{x}^{\mathsf T}A\mathbf{x} = \mathbf{x}^{\mathsf T}\tfrac{A + A^{\mathsf T}}{2}\mathbf{x}

이므로, 이차 형식은 언제나 대칭 부분만 본다.

스펙트럼 정리로 좌표를 고유벡터 축으로 돌리면( $\mathbf{y} = Q^{\mathsf T}\mathbf{x}$ ) 섞인 항이 사라집니다.

\mathbf{x}^{\mathsf T}S\mathbf{x} = \mathbf{x}^{\mathsf T}Q\Lambda Q^{\mathsf T}\mathbf{x} = \mathbf{y}^{\mathsf T}\Lambda\mathbf{y} = \lambda_1 y_1^2 + \lambda_2 y_2^2

이것이 주축 정리(principal axis theorem)다. 고유벡터 방향이 곡선의 주축이고,

q = 1

인 등위선은

y_i

축 방향으로 반지름

1/\sqrt{\lambda_i}

를 가진다.

그림 13-3. 등위선

\mathbf{x}^{\mathsf T}S\mathbf{x} = k

의 세 가지 모양. 고유값 두 개가 같은 부호면 타원(양수면 그릇, 음수면 뒤집힌 그릇), 다른 부호면 쌍곡선(안장), 하나가 0이면 평행한 직선(골짜기)이다. 2×2 행렬에서는

\det S = \lambda_1\lambda_2

의 부호만 보아도 구분된다.

예제 13.3 (5x² + 4xy + 2y² = 1의 정체)

$S = \begin{bmatrix}5 & 2\\ 2 & 2\end{bmatrix}$ . $\operatorname{tr} S = 7$ , $\det S = 6$ 이므로 $\lambda^2 - 7\lambda + 6 = 0$ , $\lambda_1 = 6$ , $\lambda_2 = 1$ . 둘 다 양수이므로 타원이다. $(S - 6I)\mathbf{x} = \mathbf{0}$ : $-x + 2y = 0$ → $\mathbf{q}_1 = (2, 1)/\sqrt5$ . $\mathbf{q}_2 = (-1, 2)/\sqrt5$ . 따라서 타원의 짧은 반지름은 $(2, 1)$ 방향으로 $1/\sqrt6 \approx 0.41$ , 긴 반지름은 $(-1, 2)$ 방향으로 $1/\sqrt1 = 1$ 이다. 짧은 축이 큰 고유값 쪽이라는 데 주의하자. 값이 빨리 커지는 방향일수록 등위선이 원점에 가깝다.

SIMULATOR

이차 형식의 지형과 등위선

색: q(x) 값 (따뜻한 색 +, 차가운 색 −)

a (x² 계수) b (2b가 xy 계수) c (y² 계수) 예제 주축(고유벡터) 보기

식—

λ₁, λ₂—

det S = λ₁λ₂—

모양—

해볼 것: ① '예제 13.3'에서 q = 1 등위선(굵은 선)이 주황 축 방향으로 0.41, 청록 축 방향으로 1인지 눈금으로 확인하세요. ② b를 키워 b² > ac가 되는 순간 타원이 쌍곡선으로 갈라집니다. 그 경계에서 det = 0, 등위선은 평행선입니다. ③ '뒤집힌 그릇'은 등위선은 타원이지만 값이 모두 음수입니다(음의 정부호). 모델: 굵은 선은 q = ±1, 가는 선은 q = ±0.25, ±2.25, ±4. 등위선은 고유벡터 좌표에서 매개변수로 그렸습니다.

양의 정부호: 다섯 가지 얼굴, 하나의 성질

이 행렬은 "그릇"인가

최적화 프로그램은 극소점을 찾았는지, 구조 해석 프로그램은 구조물이 안정한지, 통계 프로그램은 공분산 행렬이 올바른지 확인해야 합니다. 모두 같은 질문입니다. "모든 방향으로 $\mathbf{x}^{\mathsf T}S\mathbf{x} > 0$ 인가?" 그런데 방향은 무한히 많습니다. 하나하나 시험할 수 없다면 무엇을 계산해야 할까요?

정의 13.1 (양의 정부호) 대칭 행렬

S

가 양의 정부호(positive definite)라는 것은

\mathbf{0}

이 아닌 모든

\mathbf{x}

에 대해

\mathbf{x}^{\mathsf T}S\mathbf{x} > 0

이라는 뜻이다.

\ge 0

이면 양의 준정부호(positive semidefinite), 양수와 음수가 모두 나오면 부정부호(indefinite),

-S

가 양의 정부호이면 음의 정부호라 한다.

정리 13.4 (양의 정부호 판정)

n \times n

대칭 행렬

S

에 대해 다음은 모두 동치이다.

에너지: 모든 $\mathbf{x} \ne \mathbf{0}$ 에 대해 $\mathbf{x}^{\mathsf T}S\mathbf{x} > 0$ .
고유값: 모든 고유값 $\lambda_i > 0$ .
피벗: 행 교환 없이 소거하면 피벗 $n$ 개가 모두 양수다.
선행 주소행렬식: 왼쪽 위 $k \times k$ 부분 행렬의 행렬식 $D_1, D_2, \dots, D_n$ 이 모두 양수다.
$A^{\mathsf T}A$ : 열이 선형 독립인 어떤 행렬 $A$ 로 $S = A^{\mathsf T}A$ 라 쓸 수 있다.

증명의 고리. (1⇒2) $S\mathbf{q} = \lambda\mathbf{q}$ 이면 $\mathbf{q}^{\mathsf T}S\mathbf{q} = \lambda\lVert\mathbf{q}\rVert^2 > 0$ . (2⇒1) $\mathbf{x} = Q\mathbf{y}$ 로 쓰면 $\mathbf{x}^{\mathsf T}S\mathbf{x} = \sum\lambda_i y_i^2 > 0$ . (3⇔4) $k$ 번째 피벗은 $D_k/D_{k-1}$ 이다(소거는 왼쪽 위 블록부터 끝나므로). (3⇒5) 피벗이 양수면 $S = LDL^{\mathsf T} = (L\sqrt D)(L\sqrt D)^{\mathsf T}$ , $A = (L\sqrt D)^{\mathsf T}$ . (5⇒1) $\mathbf{x}^{\mathsf T}A^{\mathsf T}A\mathbf{x} = \lVert A\mathbf{x}\rVert^2 \ge 0$ 이고, 열이 독립이므로 $\mathbf{x} \ne \mathbf{0}$ 이면 $A\mathbf{x} \ne \mathbf{0}$ . (1⇒3)은 피벗이 $D_k/D_{k-1}$ 이고 $D_k$ 가 왼쪽 위 블록(역시 에너지가 양수인 행렬)의 고유값의 곱이라는 데서 나온다. ∎

실제 계산에서는 3번(피벗, 곧 콜레스키 분해를 시도해 보는 것)이 가장 빠릅니다. 고유값을 구하는 것보다 몇 배 싸고, 실패하면 그 자리에서 멈추기 때문입니다. 4번은 손계산에, 5번은 "왜 이 행렬이 양의 정부호인가"를 설명할 때 가장 쓸모 있습니다. 공분산 행렬, 최소제곱의 $A^{\mathsf T}A$ , 강성 행렬 $A^{\mathsf T}CA$ 가 양의 (준)정부호인 이유가 모두 5번입니다.

예제 13.4 (2차 차분 행렬 판정하기)

K = \begin{bmatrix}2 & -1 & 0\\ -1 & 2 & -1\\ 0 & -1 & 2\end{bmatrix}

피벗: $2$ , $2 - \tfrac12 = \tfrac32$ , $2 - \tfrac{1}{3/2} = \tfrac43$ . 모두 양수. 주소행렬식: $D_1 = 2$ , $D_2 = 3$ , $D_3 = 4$ . 피벗 = $D_k/D_{k-1}$ = $2, \tfrac32, \tfrac43$ ✓. 고유값: $2 - \sqrt2,\ 2,\ 2 + \sqrt2$ ≈ 0.59, 2, 3.41. 곱 = 4 = $\det K$ ✓. 에너지: 전개하면 $\mathbf{x}^{\mathsf T}K\mathbf{x} = 2x_1^2 + 2x_2^2 + 2x_3^2 - 2x_1x_2 - 2x_2x_3 = x_1^2 + (x_1 - x_2)^2 + (x_2 - x_3)^2 + x_3^2 > 0.$ 제곱의 합이고, 0이 되려면 $x_1 = x_1 - x_2 = x_2 - x_3 = x_3 = 0$ 이어야 한다. $A^{\mathsf T}A$ : 제곱 안의 네 식이 곧 $A\mathbf{x}$ 이고, $A$ 는 아래 6절의 4×3 차분 행렬이다. 다섯 판정이 모두 같은 답을 준다.

SIMULATOR

양의 정부호 판정기: 다섯 가지 시험

시험	값	결과

대칭 행렬 S (위 삼각을 고치면 아래가 따라감)

예제

판정—

콜레스키 L—

해볼 것: ① '대각은 양수인데…'는 대각 원소가 모두 양수지만 양의 정부호가 아닙니다. 어느 시험이 가장 먼저 실패하는지 보세요. ② 'AᵀA'는 몇 번을 눌러도 언제나 통과합니다(정리 13.4의 5번). ③ '모두 1'은 피벗 하나가 0이 되어 콜레스키가 멈추고, 가장 작은 고유값은 0, 무작위 방향 최솟값도 0에 가깝습니다. ④ '거의 특이'는 판정은 통과하지만 가장 작은 고유값이 매우 작습니다. 수치적으로 위험한 행렬입니다(16장). 모델: 고유값은 야코비 방법, 무작위 방향 시험은 단위 벡터 3,000개의 최솟값입니다(증명이 아니라 표본입니다).

콜레스키 분해: 양의 정부호 행렬의 제곱근

대칭이면 계산도 절반으로 줄일 수 없을까

유한 요소 구조 해석, 칼만 필터, 몬테카를로 시뮬레이션의 상관된 난수 생성은 매번 양의 정부호 행렬로 연립방정식을 풀거나 "행렬의 제곱근"을 필요로 합니다. 대칭이라 칸의 절반이 중복인데, LU 분해는 그 사실을 쓰지 않습니다.

4장에서 대칭 행렬은 $S = LDL^{\mathsf T}$ 로 분해된다는 것을 보았습니다(4장 LDLᵀ). 양의 정부호면 피벗 $D$ 가 모두 양수이므로 $\sqrt D$ 를 양쪽으로 나눠 가질 수 있습니다.

정리 13.5 (콜레스키 분해) 대칭 행렬

S

가 양의 정부호일 필요충분조건은 대각 원소가 양수인 하삼각 행렬

L

이 있어

S = LL^{\mathsf T}

인 것이다. 이

L

은 유일하며,

L = L_{\text{LDU}}\sqrt D

이다. 대각 원소의 제곱

\ell_{kk}^2

이 곧

k

번째 피벗이다.

$LL^{\mathsf T}$ 의 $(i, j)$ 성분을 맞추면 알고리즘이 바로 나옵니다. 첫 열부터 차례로,

\ell_{kk} = \sqrt{s_{kk} - \sum_{j \lt k}\ell_{kj}^2}, \qquad \ell_{ik} = \frac{1}{\ell_{kk}}\Bigl(s_{ik} - \sum_{j \lt k}\ell_{ij}\ell_{kj}\Bigr)\quad (i > k)

제곱근 안이 0 이하가 되는 순간 행렬은 양의 정부호가 아니다. 그래서 콜레스키 분해는 "판정하면서 동시에 분해하는" 가장 빠른 방법이다. 연산량은 약

n^3/3

flop으로 LU의 절반이고, 피벗팅이 필요 없으며 수치적으로 안정하다.

예제 13.5 (콜레스키 손계산)

$S = \begin{bmatrix}4 & 2\\ 2 & 3\end{bmatrix}$ : $\ell_{11} = \sqrt4 = 2$ , $\ell_{21} = 2/2 = 1$ , $\ell_{22} = \sqrt{3 - 1^2} = \sqrt2$ . 검산: $\begin{bmatrix}2 & 0\\ 1 & \sqrt2\end{bmatrix}\begin{bmatrix}2 & 1\\ 0 & \sqrt2\end{bmatrix} = \begin{bmatrix}4 & 2\\ 2 & 3\end{bmatrix}$ ✓.

예제 13.4의 $K$ : $\ell_{11} = \sqrt2$ , $\ell_{21} = -1/\sqrt2$ , $\ell_{22} = \sqrt{2 - \tfrac12} = \sqrt{3/2}$ , $\ell_{32} = -1/\sqrt{3/2}$ , $\ell_{33} = \sqrt{2 - \tfrac23} = \sqrt{4/3}$ . 대각의 제곱 $2, \tfrac32, \tfrac43$ 이 정확히 피벗이다.

쓰이는 곳: 상관된 잡음 만들기 서로 독립인 표준 정규 난수 벡터

\mathbf{z}

에

L

을 곱하면

\mathbf{x} = L\mathbf{z}

의 공분산은

E[\mathbf{x}\mathbf{x}^{\mathsf T}] = L\,E[\mathbf{z}\mathbf{z}^{\mathsf T}]\,L^{\mathsf T} = LL^{\mathsf T} = \Sigma

가 된다. 금융의 위험 시뮬레이션, 공정 변동의 몬테카를로 해석, 통신 채널 모의 실험이 상관된 난수를 이렇게 만든다(확률과 통계 · 결합 분포).

에너지로 읽기: 스프링과 K = AᵀCA

양의 정부호는 물리적으로 무슨 뜻인가

스프링으로 연결된 질량 세 개를 양쪽 벽에 매달고 힘을 가하면 어디까지 밀릴까요? 그리고 왜 벽 하나를 떼어도 답이 나오는데 양쪽 벽을 모두 떼면 답이 사라질까요?

질량의 변위를 $\mathbf{u} = (u_1, u_2, u_3)$ 라 합시다. 스프링 $i$ 의 늘어난 길이 $e_i$ 는 양 끝 변위의 차이입니다(벽은 움직이지 않음). 훅의 법칙으로 스프링 힘은 $w_i = c_ie_i$ , 각 질량에서 힘의 평형은 들어오고 나가는 스프링 힘의 차이입니다. 세 단계를 행렬로 쓰면,

\mathbf{e} = A\mathbf{u}, \quad \mathbf{w} = C\mathbf{e}, \quad \mathbf{f} = A^{\mathsf T}\mathbf{w} \quad\Longrightarrow\quad K\mathbf{u} = \mathbf{f}, \quad K = A^{\mathsf T}CA, \qquad A = \begin{bmatrix}1 & 0 & 0\\ -1 & 1 & 0\\ 0 & -1 & 1\\ 0 & 0 & -1\end{bmatrix}

C = \operatorname{diag}(c_1, c_2, c_3, c_4)

는 스프링 상수. 늘어남을 구하는

A

와 힘의 평형을 세우는

A^{\mathsf T}

가 서로 전치라는 것이 핵심이다(가상일의 원리). 모든

c_i = 1

이면

K

는 예제 13.4의 2차 차분 행렬이 된다.

그림 13-4. 고정–고정 스프링 사슬. 늘어남 e = Au, 힘 w = Ce, 평형 f = Aᵀw의 세 단계가 K = AᵀCA를 만든다. 이 틀은 저항 회로(전위 → 전압 강하 → 전류 → 키르히호프 법칙)와 트러스 구조물에도 똑같이 나타난다.

$\mathbf{u}^{\mathsf T}K\mathbf{u} = (A\mathbf{u})^{\mathsf T}C(A\mathbf{u}) = \sum c_ie_i^2$ 이고, $\tfrac12\mathbf{u}^{\mathsf T}K\mathbf{u}$ 는 스프링에 저장된 탄성 에너지입니다. 그러니 양의 정부호 = 어떻게 움직이든 에너지가 든다는 뜻입니다. 양쪽 벽을 모두 떼면 세 질량을 똑같이 옮기는 $\mathbf{u} = (1, 1, 1)$ 이 스프링을 전혀 늘이지 않아 에너지가 0입니다. 이 강체 운동이 $K$ 의 영공간이고, $K$ 는 준정부호로 떨어져 $K\mathbf{u} = \mathbf{f}$ 가 풀리지 않습니다(힘이 평형을 이루지 않으면 계 전체가 날아갑니다). 구조 해석에서 "경계 조건이 부족하다"는 오류 메시지가 바로 이것입니다.

정리 13.6 (최소 에너지 원리)

K

가 양의 정부호이면

K\mathbf{u} = \mathbf{f}

의 해는 총 퍼텐셜 에너지

P(\mathbf{u}) = \tfrac12\mathbf{u}^{\mathsf T}K\mathbf{u} - \mathbf{u}^{\mathsf T}\mathbf{f}

를 최소로 하는 유일한 점이고, 최솟값은

-\tfrac12\mathbf{f}^{\mathsf T}K^{-1}\mathbf{f}

이다.

증명. $\mathbf{u}^* = K^{-1}\mathbf{f}$ 라 하면 $P(\mathbf{u}) - P(\mathbf{u}^*) = \tfrac12(\mathbf{u} - \mathbf{u}^*)^{\mathsf T}K(\mathbf{u} - \mathbf{u}^*) \ge 0$ (전개해서 확인). 등호는 $\mathbf{u} = \mathbf{u}^*$ 일 때뿐이다. ∎ 연립방정식을 푸는 것과 그릇의 바닥을 찾는 것은 같은 일이다. 이 생각이 유한 요소법과 켤레 기울기법(16장)의 출발점이다.

SIMULATOR

스프링 사슬: K = AᵀCA와 에너지

c₁ c₂ c₃ c₄ 힘 f (오른쪽 +)

힘을 받는 질량

K = AᵀCA—

변위 u = K⁻¹f—

K의 고유값—

저장 에너지 ½uᵀKu—

—

해볼 것: ① c₄를 0으로 내리면(오른쪽 벽 떼기) K의 가장 작은 고유값이 줄지만 여전히 양수라 답이 나옵니다. ② c₁과 c₄를 모두 0으로 하면 가장 작은 고유값이 0이 되고, '셋 모두'처럼 힘의 합이 0이 아니면 해가 없습니다. ③ c₂를 아주 작게 하면 m₁이 거의 따로 놀고 K는 거의 블록 대각이 됩니다. 모델: 정적 평형만 다룹니다. 그림의 변위는 보기 좋게 확대했습니다.

헤세 행렬: 극소, 극대, 안장점

기울기가 0인 곳이 바닥인지 고개인지

신경망 학습, 공정 조건 최적화, 분자 구조 계산은 함수 $f(x_1, \dots, x_n)$ 의 기울기가 0인 점을 찾습니다. 그런데 기울기가 0인 점은 바닥(극소)일 수도, 꼭대기(극대)일 수도, 한쪽으로는 오르막이고 다른 쪽으로는 내리막인 고개(안장점)일 수도 있습니다. 일변수에서는 $f''$ 의 부호로 판정했지요. 다변수에서는 무엇이 $f''$ 일까요?

임계점 $\mathbf{x}_0$ 근처에서 테일러 전개를 하면 1차 항이 사라지고 2차 항이 남습니다.

f(\mathbf{x}_0 + \mathbf{h}) \approx f(\mathbf{x}_0) + \underbrace{\nabla f^{\mathsf T}\mathbf{h}}_{=\,0} + \tfrac12\mathbf{h}^{\mathsf T}H\mathbf{h}, \qquad H = \begin{bmatrix}f_{xx} & f_{xy}\\ f_{yx} & f_{yy}\end{bmatrix}

H

는 이계 편도함수를 모은 헤세 행렬(Hessian matrix)이다. 이계 편도함수가 연속이면

f_{xy} = f_{yx}

(슈바르츠 정리)이므로

H

는 대칭이다. 임계점 근처의 함수는 이차 형식

\tfrac12\mathbf{h}^{\mathsf T}H\mathbf{h}

처럼 생겼다.

정리 13.7 (이계 도함수 판정)

\nabla f(\mathbf{x}_0) = \mathbf{0}

일 때,

H(\mathbf{x}_0)

가 양의 정부호면 극소, 음의 정부호면 극대, 고유값에 양수와 음수가 모두 있으면 안장점이다. 고유값 중 0이 있으면(준정부호) 이 판정만으로는 알 수 없다. 2×2에서는

\det H > 0

이고

f_{xx} > 0

이면 극소,

\det H > 0

이고

f_{xx} \lt 0

이면 극대,

\det H \lt 0

이면 안장점이다.

예제 13.6 (임계점 분류)

① $f = x^2 + 3xy + y^2$ : $H = \begin{bmatrix}2 & 3\\ 3 & 2\end{bmatrix}$ , 고유값 5와 −1 → 안장점. 대각 원소 $f_{xx} = f_{yy} = 2$ 가 모두 양수여서 x축, y축 방향으로는 오르막인데도 그렇다. 내리막 방향은 고유값 −1의 고유벡터 $(1, -1)$ 이다: $f(t, -t) = t^2 - 3t^2 + t^2 = -t^2$ .

② $f = x^3 - 3x + y^2$ : $\nabla f = (3x^2 - 3, 2y) = \mathbf{0}$ 에서 임계점 $(\pm1, 0)$ . $H = \begin{bmatrix}6x & 0\\ 0 & 2\end{bmatrix}$ . $(1, 0)$ 에서 $\operatorname{diag}(6, 2)$ → 극소. $(-1, 0)$ 에서 $\operatorname{diag}(-6, 2)$ → 안장점.

SIMULATOR

지형 위의 점: 기울기와 헤세 행렬

점을 끌어 보세요 · 등고선 간격 일정

함수 f(x, y)

헤세 고유벡터 보기

점 (x, y)—

기울기 ∇f—

헤세 H—

H의 고유값—

—

해볼 것: ① '예제 ①'에서 원점의 두 고유벡터 중 주황(양수)은 오르막, 청록(음수)은 내리막 방향입니다. ② '예제 ②'에서 뉴턴법을 여러 번 눌러 두 임계점을 각각 찾아보세요. 출발점에 따라 극소에도, 안장점에도 도착합니다. 뉴턴법은 바닥과 고개를 가리지 않습니다. ③ 'x⁴ + y²'의 원점은 분명히 극소인데 헤세 고유값 하나가 0이라 정리 13.7로는 판정할 수 없습니다. ④ '원형 골짜기'의 바닥 원 위에서는 원을 따라가는 방향의 고유값이 0입니다. 모델: 헤세와 기울기는 해석적으로 계산하고, 화살표 길이는 |λ|의 제곱근에 비례합니다.

경사 하강법의 속도는 헤세의 조건수가 정한다

극소점을 찾는 가장 단순한 방법은 기울기 반대 방향으로 조금씩 내려가는 경사 하강법입니다. 극소점 근처의 함수는 $f \approx \tfrac12\mathbf{x}^{\mathsf T}S\mathbf{x}$ ( $S$ 는 헤세)이므로 $\nabla f = S\mathbf{x}$ 이고 한 걸음은 $\mathbf{x}_{k+1} = \mathbf{x}_k - \eta S\mathbf{x}_k = (I - \eta S)\mathbf{x}_k$ 입니다. 고유벡터 방향 성분은 서로 섞이지 않고 각각 매 걸음 $1 - \eta\lambda_i$ 배가 됩니다.

|1 - \eta\lambda_i| \lt 1 \iff 0 \lt \eta \lt \frac{2}{\lambda_{\max}}, \qquad \eta^* = \frac{2}{\lambda_{\max} + \lambda_{\min}}\ \Rightarrow\ \text{수렴률} = \frac{\kappa - 1}{\kappa + 1}, \quad \kappa = \frac{\lambda_{\max}}{\lambda_{\min}}

\kappa

는 헤세의 조건수(condition number). 보폭은 가장 가파른 방향(

\lambda_{\max}

) 때문에 작아야 하고, 그 작은 보폭으로는 가장 완만한 방향(

\lambda_{\min}

)이 거의 움직이지 않는다.

\kappa = 100

이면 수렴률

99/101 \approx 0.980

이라 오차를

10^{-6}

으로 줄이는 데 약 690걸음이 든다.

SIMULATOR

길쭉한 그릇에서 지그재그로 내려가기

출발점을 끌어 보세요

조건수 κ = λmax/λmin 보폭 η × λmax 그릇의 기울기 각

걸음마다 줄어드는 비율(최악 방향)—

f를 10⁻⁶배로 줄이는 데 걸린 걸음—

이론 최적 수렴률 (κ−1)/(κ+1)—

—

해볼 것: ① κ = 1이면 등고선이 원이고 최적 보폭에서 한 걸음에 바닥에 닿습니다. ② κ를 30 이상으로 키우면 경로가 골짜기 벽을 오가며 지그재그로 느리게 내려갑니다. ③ 보폭을 2/λmax(표시값 2.0) 넘게 키우면 가파른 방향 성분이 매 걸음 부호를 바꾸며 커져 발산합니다. ④ '뉴턴 한 걸음'은 헤세의 역행렬을 곱해 그릇을 원으로 펴 주므로 이차 함수에서는 한 걸음에 끝납니다. 모델: f = ½xᵀSx, S의 고유값은 1과 κ, 최대 1,000걸음까지 계산합니다.

레일리 몫과 주축: 응력, 관성, 공분산

어느 방향이 가장 많이 늘어나는가

응력 텐서에서는 "어느 면에 인장이 가장 크게 걸리는가", 관성 텐서에서는 "어느 축으로 돌리기가 가장 어려운가", 공분산 행렬에서는 "데이터가 어느 방향으로 가장 넓게 퍼졌는가"를 묻습니다. 모두 단위 벡터 $\mathbf{n}$ 에 대해 $\mathbf{n}^{\mathsf T}S\mathbf{n}$ 을 최대로 하는 문제입니다.

정리 13.8 (레일리 몫) 대칭 행렬

S

의 고유값을

\lambda_1 \ge \cdots \ge \lambda_n

이라 하면,

\mathbf{x} \ne \mathbf{0}

에 대한 레일리 몫(Rayleigh quotient)은

\lambda_n \le R(\mathbf{x}) = \frac{\mathbf{x}^{\mathsf T}S\mathbf{x}}{\mathbf{x}^{\mathsf T}\mathbf{x}} \le \lambda_1

을 만족하고, 최댓값은

\mathbf{x} = \mathbf{q}_1

에서, 최솟값은

\mathbf{x} = \mathbf{q}_n

에서 얻는다.

증명. $\mathbf{x} = Q\mathbf{y}$ 로 쓰면 $R = \dfrac{\sum\lambda_iy_i^2}{\sum y_i^2}$ , 곧 고유값들의 가중 평균(가중치 $y_i^2 \ge 0$ )이다. 가중 평균은 가장 큰 값과 가장 작은 값 사이에 있고, 가중치를 한 곳에 몰면 양 끝에 닿는다. ∎ 첫 고유벡터에 수직인 방향 중에서 최대를 찾으면 $\lambda_2$ 가 나오고, 이렇게 고유값을 차례로 "최대화 문제의 답"으로 얻을 수 있다(쿠란트–피셔 최소최대 정리).

2차원 응력 텐서 $\sigma = \begin{bmatrix}\sigma_x & \tau\\ \tau & \sigma_y\end{bmatrix}$ 에서 법선이 $\mathbf{n} = (\cos\theta, \sin\theta)$ 인 면의 수직 응력은 $\sigma_n = \mathbf{n}^{\mathsf T}\sigma\mathbf{n}$ (레일리 몫), 전단 응력은 면 방향 $\mathbf{t} = (-\sin\theta, \cos\theta)$ 에 대해 $\tau_n = \mathbf{t}^{\mathsf T}\sigma\mathbf{n}$ 입니다. 배각 공식으로 정리하면

\sigma_n = \frac{\sigma_x + \sigma_y}{2} + \frac{\sigma_x - \sigma_y}{2}\cos2\theta + \tau\sin2\theta, \qquad \tau_n = -\frac{\sigma_x - \sigma_y}{2}\sin2\theta + \tau\cos2\theta

(\sigma_n, \tau_n)

은 중심

\tfrac{\sigma_x + \sigma_y}{2}

, 반지름

r = \sqrt{(\tfrac{\sigma_x - \sigma_y}{2})^2 + \tau^2}

인 원 위를 각

2\theta

로 돈다. 이것이 모어 원(Mohr's circle)이다. 원이 가로축과 만나는 두 점(전단 0)이 주응력

\sigma_{1,2} = \text{중심} \pm r

, 곧

\sigma

의 두 고유값이다.

예제 13.7 (주응력 구하기)

\sigma_x = 80

\sigma_y = 20

\tau = 40

(단위 MPa).

중심 $50$ , 반지름 $\sqrt{30^2 + 40^2} = 50$ 이므로 주응력은 $100$ 과 $0$ MPa. 주방향은 $\tan2\theta_p = 2\tau/(\sigma_x - \sigma_y) = 80/60$ 에서 $2\theta_p \approx 53.1°$ , $\theta_p \approx 26.6°$ . 고유값으로 확인하면 $\operatorname{tr} = 100$ , $\det = 80 \cdot 20 - 40^2 = 0$ 이므로 $\lambda = 100, 0$ ✓. 가로나 세로로 자른 면의 수직 응력 80 MPa보다 26.6° 기울인 면의 100 MPa가 더 크다. 재료의 파손 판정은 이 값으로 해야 한다.

SIMULATOR

면을 돌리면 응력이 바뀐다: 레일리 몫과 모어 원

σx (MPa) σy (MPa) τ (MPa) 면의 법선 각 θ

수직 응력 σn = nᵀσn—

전단 응력 τn = tᵀσn—

주응력 = 고유값—

주방향 θp—

해볼 것: ① θ를 움직이면 왼쪽의 작은 요소가 돌고, 오른쪽 모어 원 위의 점은 2θ만큼 돕니다. 아래 그래프의 R(θ) = σn은 고유값 두 개 사이를 오갑니다. ② '주방향 1로'를 누르면 전단이 0이 되고 σn이 최대가 됩니다. 그 방향이 고유벡터입니다. ③ τ = 0, σx = σy로 하면 원이 한 점이 되어 모든 방향이 주방향입니다(고유값 중복). 모델: 2차원 평면 응력, 부호 약속은 인장 +, 전단은 반시계 회전을 + 로 봅니다.

같은 수학이 다른 두 곳에도 그대로 나옵니다.

관성 텐서. 강체의 회전 운동 에너지는 $\tfrac12\boldsymbol\omega^{\mathsf T}I\boldsymbol\omega$ 이고 관성 텐서 $I$ 는 대칭 양의 정부호다. 고유벡터가 관성 주축, 고유값이 주관성 모멘트다. 주축 둘레로는 축이 흔들리지 않고 돌며, 세 주축 중 가운데 값의 축 둘레 회전은 불안정하다는 사실(테니스 라켓 정리)이 잘 알려져 있다. 위성의 자세 제어가 주축을 기준으로 설계되는 이유다.
공분산 타원. 평균을 뺀 데이터의 공분산 행렬 $\Sigma$ 는 대칭 준정부호다. $\mathbf{x}^{\mathsf T}\Sigma^{-1}\mathbf{x} = 1$ 인 타원은 고유벡터 방향으로 반지름 $\sqrt{\lambda_i}$ 를 가지며 데이터가 퍼진 모양을 요약한다. 가장 큰 고유값의 방향이 "데이터가 가장 넓게 퍼진 방향"이고, 이것이 15장 PCA의 첫 주성분이다.

그림 13-5. 예제 13.7의 응력 요소와 모어 원. 가로 면의 응력 (80, 40)과 세로 면의 응력 (20, −40)이 원의 지름 양 끝이다. 원이 가로축과 만나는 초록 점이 주응력(고유값) 100과 0 MPa, 그 점까지 돌아간 각 2θp ≈ 53.1°의 절반이 주방향이다.

이 도구가 쓰이는 곳

"대칭 = 수직인 축으로 늘이기", "양의 정부호 = 에너지가 양수 = 그릇"이라는 두 문장은 시리즈 곳곳에 다른 이름으로 나타납니다.

LINEARBOOK 15장PCA와 데이터
공분산 행렬의 고유분해가 주성분이다. 레일리 몫의 최대화가 곧 첫 주성분 찾기. LINEARBOOK 14장특이값 분해
AᵀA와 AAᵀ의 스펙트럼 분해에서 특이값과 특이벡터가 나온다. LINEARBOOK 16장켤레 기울기법
양의 정부호 시스템을 최소 에너지 문제로 풀며, 수렴 속도는 √κ에 비례한다. MATHBOOK가장 낮은 곳 찾기
학습률과 볼록성. 헤세의 조건수가 경사 하강법의 지그재그를 만든다. MATHBOOK공진 모드
Kφ = ω²Mφ: 대칭 강성 행렬의 고유값이 고유진동수², 고유벡터가 모드 형상. 확률과 통계공분산과 이변량 정규 분포
공분산 행렬은 대칭 준정부호, 정규 분포의 등고선은 그 타원이다. TCADBOOK소자 시뮬레이션
확산·포아송 방정식의 이산화가 대칭 양의 정부호 행렬을 만들고, 콜레스키와 켤레 기울기로 푼다. LINEARBOOK 4장LDLᵀ와 콜레스키
대칭 행렬의 소거는 절반의 비용으로 끝나고, 피벗이 양수면 콜레스키가 된다.

핵심 정리

대칭 행렬의 고유값은 실수, 고유벡터는 직교(정리 13.1, 13.2). 그래서 $S = Q\Lambda Q^{\mathsf T}$ , $Q^{-1} = Q^{\mathsf T}$ : 수직인 축으로 돌려 읽고, 늘이고, 되돌린다.
$S = \sum\lambda_i\mathbf{q}_i\mathbf{q}_i^{\mathsf T}$ : 대칭 행렬은 서로 수직인 직선으로의 사영에 배율을 곱한 것의 합이다. $S^k$ , $S^{-1}$ , $e^{St}$ 는 고유값에 함수를 적용해 얻는다.
이차 형식 $\mathbf{x}^{\mathsf T}S\mathbf{x}$ 는 고유벡터 좌표에서 $\sum\lambda_iy_i^2$ . 고유값 부호가 같으면 타원, 다르면 쌍곡선, 0이 있으면 평행선. 주축 = 고유벡터, $q = 1$ 의 반지름 = $1/\sqrt{\lambda_i}$ .
양의 정부호의 다섯 판정(에너지 > 0, 고유값 > 0, 피벗 > 0, 선행 주소행렬식 > 0, $S = A^{\mathsf T}A$ ·열 독립)은 모두 동치. 계산은 피벗(콜레스키)이 가장 빠르다. 대각 원소가 모두 양수라는 것만으로는 부족하다.
콜레스키 $S = LL^{\mathsf T}$ : 양의 정부호일 때만 존재, $\ell_{kk}^2$ = 피벗, 연산량 $n^3/3$ , 피벗팅 불필요. 상관된 난수 $L\mathbf{z}$ 생성에도 쓴다.
강성 행렬 $K = A^{\mathsf T}CA$ 는 에너지 $\tfrac12\mathbf{u}^{\mathsf T}K\mathbf{u} = \tfrac12\sum c_ie_i^2$ . 강체 운동이 가능하면 준정부호로 떨어진다. $K\mathbf{u} = \mathbf{f}$ 는 퍼텐셜 에너지의 최소점이다.
헤세 행렬은 대칭이고 임계점에서 양의 정부호면 극소, 부정부호면 안장점. 경사 하강법의 수렴률은 최적 보폭에서 $(\kappa - 1)/(\kappa + 1)$ , $\kappa = \lambda_{\max}/\lambda_{\min}$ .
레일리 몫 $R(\mathbf{x}) = \mathbf{x}^{\mathsf T}S\mathbf{x}/\mathbf{x}^{\mathsf T}\mathbf{x}$ 는 $[\lambda_{\min}, \lambda_{\max}]$ 안에 있고 양 끝은 고유벡터에서 얻는다. 주응력(모어 원), 관성 주축, 공분산의 주성분이 모두 이것이다.

확인 퀴즈

Q1. 대칭 행렬 $S$ 의 서로 다른 고유값 3과 5에 대한 고유벡터 $\mathbf{x}$ , $\mathbf{y}$ 가 있다. $\mathbf{x}^{\mathsf T}\mathbf{y}$ 는?

정리 13.2:

3\mathbf{x}^{\mathsf T}\mathbf{y} = (S\mathbf{x})^{\mathsf T}\mathbf{y} = \mathbf{x}^{\mathsf T}S\mathbf{y} = 5\mathbf{x}^{\mathsf T}\mathbf{y}

에서

2\mathbf{x}^{\mathsf T}\mathbf{y} = 0

. 크기와 상관없이 언제나 직교한다.

Q2. $S = \begin{bmatrix}1 & 2\\ 2 & 1\end{bmatrix}$ 에 대한 설명으로 옳은 것은?

\operatorname{tr} = 2

\det = 1 - 4 = -3

이므로

\lambda = 3, -1

. 부호가 다르면 안장, 등위선은 쌍곡선이다. 방향

(1, -1)

에서

\mathbf{x}^{\mathsf T}S\mathbf{x} = 1 - 4 + 1 = -2 \lt 0

. 대각이 양수인 것도, 대칭인 것도 양의 정부호의 충분조건이 아니다. det ≠ 0이므로 역행렬은 있다.

Q3. 다음 중 양의 정부호 판정으로 충분하지 않은 것은?

3×3에서

\det = \lambda_1\lambda_2\lambda_3 > 0

\operatorname{tr} > 0

이어도 고유값이

5, -1, -1

일 수 있다(합 3, 곱 5). 2×2에서는 det > 0과 trace > 0이 충분하지만 일반적으로는 아니다. 나머지 셋은 정리 13.4의 동치 조건이다.

Q4. $S = \begin{bmatrix}9 & 3\\ 3 & 5\end{bmatrix}$ 의 콜레스키 인수 $L$ 은?

\ell_{11} = \sqrt9 = 3

\ell_{21} = 3/3 = 1

\ell_{22} = \sqrt{5 - 1} = 2

. 검산:

LL^{\mathsf T} = \begin{bmatrix}9 & 3\\ 3 & 1 + 4\end{bmatrix}

. 마지막 보기는 LDLᵀ의

L

(단위 하삼각)이다. 피벗은

9

와

4 = \ell_{22}^2

Q5. 스프링 사슬에서 양쪽 벽을 모두 떼어 내면 $K = A^{\mathsf T}CA$ 는 어떻게 되나?

세 질량을 똑같이 옮기면 어느 스프링도 늘어나지 않으므로

A\mathbf{u} = \mathbf{0}

, 에너지 0이다.

A

의 열이 종속이 되어 정리 13.4의 5번이 깨진다.

K

는 여전히

A^{\mathsf T}CA

꼴이므로 대칭이고 준정부호다.

Q6. $f(x, y) = x^2 + 4xy + 5y^2$ 의 원점은?

H = \begin{bmatrix}2 & 4\\ 4 & 10\end{bmatrix}

D_1 = 2 > 0

D_2 = 20 - 16 = 4 > 0

이므로 양의 정부호. 완전제곱으로도 확인된다:

f = (x + 2y)^2 + y^2

Q7. 헤세의 고유값이 1과 400인 이차 함수에 최적 보폭으로 경사 하강법을 쓸 때, 걸음당 오차가 줄어드는 비율에 가장 가까운 것은?

\kappa = 400

(\kappa - 1)/(\kappa + 1) = 399/401 \approx 0.995

. 오차를

10^{-6}

배로 줄이려면 약

\ln 10^6/0.005 \approx 2{,}760

걸음이 든다. 보폭을

2/400

보다 크게 잡으면 발산하지만 최적 보폭은 그보다 작다.

Q8. 평면 응력 $\sigma_x = 50$ , $\sigma_y = -30$ , $\tau = 30$ MPa의 최대 주응력은?

모어 원의 중심

(50 - 30)/2 = 10

, 반지름

\sqrt{40^2 + 30^2} = 50

. 주응력은

10 \pm 50

, 곧 60과 −40 MPa. 고유값으로도

\operatorname{tr} = 20

\det = -1500 - 900 = -2400

→

\lambda^2 - 20\lambda - 2400 = 0

\lambda = 60, -40