회귀 분석
계측 장비를 새로 들이면 먼저 두께를 아는 표준 시료 몇 장을 재어 본다. 기준값과 측정값을 산점도에 찍으면 점들이 대략 직선을 따른다. 이 직선, 곧 검량선을 정하면 다음부터는 측정값만 보고 참값을 거꾸로 읽을 수 있다. 그런데 점들이 정확히 한 줄에 서 있지 않으니 직선은 무수히 많이 그을 수 있다. 어느 직선이 가장 좋을까? 아래 그림에서 흰 원 두 개를 끌어 직선을 움직여 보자. 빨간 정사각형은 점마다 직선에서 벗어난 세로 거리(잔차)를 한 변으로 하는 정사각형이고, 정사각형 넓이의 합이 작을수록 직선이 자료에 잘 맞는다. 이 합을 가장 작게 만드는 직선이 최소 제곱 직선이다. 이 장에서는 최소 제곱 직선을 구하고, 그 직선이 얼마나 믿을 만한지 구간과 검정으로 따지고, 새 측정값을 예측하거나 거꾸로 읽을 때의 불확실성을 띠로 그린다. 이어서 잔차로 모형을 진단하고, 설명 변수가 여럿인 다중 회귀와 곡선 회귀, 합격·불합격처럼 두 값만 갖는 반응을 다루는 로지스틱 회귀로 넓혀 간다.
- 잔차 제곱합을 최소로 만드는 조건(정규 방정식)에서 \(b = S_{xy}/S_{xx}\), \(a = \bar y - b\bar x\)를 유도하고 손으로 계산한다.
- \(\mathrm{SST} = \mathrm{SSR} + \mathrm{SSE}\)로 결정 계수 \(R^2\)를 해석하고, 단순 회귀에서 \(R^2 = r^2\)임을 확인한다. 평균으로의 회귀를 반복 측정 실험으로 설명한다.
- 오차 모형 \(Y = \beta_0 + \beta_1 x + \varepsilon\)에서 \(\hat\beta_1\)의 표본 분포를 시뮬레이션으로 쌓고, 기울기의 t 구간과 \(H_0: \beta_1 = 0\) 검정, 분산 분석표의 F 검정을 수행한다.
- 평균 반응의 신뢰 구간과 새 관측의 예측 구간을 구별하고, 띠가 \(\bar x\)에서 가장 좁고 외삽에서 넓어지는 이유를 설명한다. 검량선으로 미지 시료를 역추정한다.
- 잔차 그림으로 곡률·이분산·이상값을 찾고, 지렛값 \(h_{ii}\)와 쿡의 거리로 영향점을 판정한다.
- 다중 회귀를 행렬 \(\hat{\boldsymbol\beta} = (X^{\mathsf T}X)^{-1}X^{\mathsf T}\mathbf y\)로 쓰고, 다중 공선성이 표준 오차를 부풀리는 정도를 분산 팽창 인자로 잰다. 가상 계측에서 외삽의 위험을 지렛값으로 판단한다.
- 다항 회귀와 로그 변환(아레니우스)을 쓰고, 학습 오차와 시험 오차로 과적합을 알아본다. 로지스틱 회귀의 오즈와 로짓을 해석한다.
최소 제곱 직선과 잔차
한 변수의 값으로 다른 변수의 값을 설명하거나 예측하는 식을 자료로 세우는 일을 회귀 분석(regression analysis)이라 한다. 예측하려는 변수 \(y\)를 반응 변수(response variable), 예측에 쓰는 변수 \(x\)를 설명 변수(explanatory variable, 예측 변수·회귀 변수)라 한다. 증착 시간 \(x\)로 막두께 \(y\)를, 표준 시료의 도즈 \(x\)로 SIMS 신호 \(y\)를, 장비 센서 값으로 막두께를 예측하는 일이 모두 회귀다. 1장에서 상관 계수로 두 변수가 함께 움직이는 정도를 숫자 하나로 요약했고, 6장에서 이변량 정규 분포의 조건부 평균 \(E[Y\mid X = x]\)가 \(x\)의 직선임을 보았다. 이 장은 그 직선을 자료에서 추정한다.
자료 \((x_1, y_1), \dots, (x_n, y_n)\)에 직선 \(\hat y = a + bx\)를 그었다고 하자. 점 \(i\)에서 직선이 내놓는 값 \(\hat y_i = a + bx_i\)를 적합값(fitted value), 관측값과 적합값의 차이 \(e_i = y_i - \hat y_i\)를 잔차(residual)라 한다. 잔차는 세로 방향 거리다. \(x\)는 실험자가 정한 값(증착 시간, 표준 시료의 기준값)이라 정확하다고 보고, 흔들리는 것은 \(y\)뿐이라고 보기 때문이다.
좋은 직선은 잔차가 전체적으로 작은 직선이다. 잔차를 그냥 더하면 양수와 음수가 상쇄되므로 제곱해서 더한 잔차 제곱합(sum of squared errors, SSE)을 쓴다.
먼저 손으로 해 보자. 아래 과제에서는 자료가 매번 바뀐다. 흰 원 두 개를 끌어 직선을 맞춘 뒤 판정을 누르면 최소 제곱 직선이 나타나고, 내 직선의 SSE가 최솟값의 몇 배인지 나온다. 최솟값보다 5% 이내로 크면 성공이다.
과녁 맞히기: 손으로 회귀선 긋기
정규 방정식
SSE는 \(a\)와 \(b\)의 2차식이라 그릇 모양이고, 바닥에서 두 편미분이 모두 0이다. 두 조건을 정리한 연립 방정식을 정규 방정식(normal equations)이라 한다.
- 잔차 제곱합은 \(a\)와 \(b\)의 2차 함수다. 최솟점에서는 두 편미분이 0이다.
- \(a\)로 미분하면 잔차의 합이 0이어야 한다. 이를 \(n\)으로 나누면 \(\bar y = a + b\bar x\), 곧 최소 제곱 직선은 평균점을 지난다.
- \(b\)로 미분하면 \(\sum x_ie_i = 0\)이다. 첫 조건과 합치면 \(\sum(x_i - \bar x)e_i = 0\), 잔차와 \(x\)의 표본 공분산이 0이다.
- 첫 식에서 \(a = \bar y - b\bar x\)를 둘째 식에 넣어 풀면 \(b = S_{xy}/S_{xx}\)이다.
요약 통계가 \(\bar x\) = 35, \(\bar y\) = 71.0, \(S_{xx}\) = 1750, \(S_{xy}\) = 3350이면 기울기 \(b\) = , 절편 \(a\) = 이고, \(x\) = 45에서 예측값은 이다. \(S_{xx}\)를 키우면(같은 공분산에서 \(x\)가 더 넓게 퍼지면) 기울기가 줄고, 직선은 언제나 \((\bar x, \bar y)\)를 지난다.
SSE를 \((a, b)\) 평면 위의 지형으로 그려 보면 정규 방정식이 무엇을 하는지 눈에 보인다. 왼쪽 지도에서 흰 원(현재 직선)을 끌면 오른쪽 자료 위의 직선이 따라 움직인다. 경사 하강을 누르면 지형의 비탈을 따라 한 걸음씩 내려간다.
잔차 제곱합의 지형
시뮬레이터의 둘째 결과는 실무에서도 쓸모가 있다. 설명 변수를 평균에서 뺀 \(x - \bar x\)로 회귀하면 절편 추정값 \(\bar y\)와 기울기 추정값이 서로 상관이 없어진다. 다중 회귀와 다항 회귀에서 변수를 중심화하는 이유가 여기에 있다.
정규 방정식의 두 조건은 잔차의 성질로 바로 확인할 수 있다. 아래 점들을 아무렇게나 끌어 보자.
CVD 장비에서 증착 시간 \(x\)(s)를 바꾸며 막두께 \(y\)(nm)를 재었다: (10, 23.1), (20, 41.8), (30, 62.5), (40, 79.9), (50, 101.4), (60, 118.2). 최소 제곱 직선을 구하고 45 s 증착 때의 막두께를 예측하라.
풀이 보기
결정 계수와 상관
최소 제곱 직선은 어떤 자료에든 그을 수 있다. 직선이 자료를 얼마나 잘 설명하는지 재려면, 직선이 없을 때와 비교한다. \(x\)를 모르면 \(y\)의 최선의 예측은 평균 \(\bar y\)이고, 그때의 오차 제곱합은 \(S_{yy}\)다. 이것을 전체 제곱합 SST라 한다. 직선을 쓰면 오차 제곱합이 SSE로 줄어든다. 각 점에서 편차를 두 조각으로 나누면 다음 항등식이 성립한다.
설명된 변동과 남은 변동
\(R^2\)는 편리하지만 오해도 많다. \(R^2\)가 높다고 직선 모형이 옳은 것은 아니고(곡선 자료에서도 0.9가 나온다), 낮다고 관계가 없는 것도 아니다(관계가 확실해도 잡음이 크면 낮다). \(x\)의 범위를 넓게 잡으면 같은 관계에서도 \(R^2\)가 커진다. 그래서 \(R^2\)와 함께 잔차 표준 편차 \(s = \sqrt{\mathrm{SSE}/(n-2)}\)를 보고한다. \(s\)는 직선 둘레의 전형적인 흩어짐을 \(y\)의 단위로 말해 준다.
기울기와 상관 계수, 그리고 평균으로의 회귀
\(b = S_{xy}/S_{xx}\)와 \(r = S_{xy}/\sqrt{S_{xx}S_{yy}}\)를 비교하면 \(b = r\,s_y/s_x\)이다. 표준화한 변수 \(z_x = (x - \bar x)/s_x\), \(z_y = (y - \bar y)/s_y\)로 쓰면 회귀 직선은 \(\hat z_y = r\,z_x\)가 된다. \(|r| < 1\)이므로 \(x\)가 평균에서 1 표준 편차 떨어져 있어도 예측한 \(y\)는 평균에서 \(r\) 표준 편차만 떨어진다. 예측값이 평균 쪽으로 당겨지는 이 현상을 평균으로의 회귀(regression to the mean)라 한다. "회귀"라는 이름은 골턴이 키 큰 부모의 자녀가 부모보다 평균에 가깝다는 것을 발견한 데서 왔다.
상관 계수 \(r\) = 0.80, \(s_x\) = 2.0, \(s_y\) = 5.0이면 기울기는 \(b = r s_y/s_x\) = 이고 \(R^2\) = , 곧 \(y\) 변동의 는 설명되지 않고 남는다. \(x\)가 평균보다 2 표준 편차 크면 예측한 \(y\)는 평균보다 표준 편차만 크다. 잔차 표준 편차는 대략 \(s_y\sqrt{1 - r^2}\) = 이다.
평균으로의 회귀는 반복 측정에서 자주 사람을 속인다. 웨이퍼마다 참 두께가 조금씩 다르고, 계측에는 측정 오차가 더해진다고 하자. 1차 측정에서 두께가 가장 두껍게 나온 웨이퍼들만 골라 다시 재면 어떻게 될까?
참 두께는 평균 100 nm, 표준 편차 2 nm로 흩어져 있고, 측정 오차의 표준 편차도 2 nm다. 1차 측정에서 상위 10%에 든 웨이퍼만 골라 공정을 바꾸지 않고 다시 재면, 2차 측정의 평균은?
다시 재면 평균으로 돌아온다
지난주 수율이 가장 낮았던 장비 다섯 대에 조치를 하고 이번 주에 보니 수율이 올랐다. 조치 효과일 수도 있지만 상당 부분은 평균으로의 회귀일 수 있다. 가장 나쁘게 나온 장비에는 운 나쁜 주간이 섞여 있기 때문이다. 효과를 확인하려면 조치하지 않은 비교군(대조군)을 함께 보아야 한다. 14장의 실험 계획이 이 문제를 다룬다.
회귀 직선은 방향이 있다. \(y\)를 \(x\)로 회귀한 직선과 \(x\)를 \(y\)로 회귀한 직선은 상관이 완벽하지 않으면 서로 다르다. 둘 다 평균으로 당기기 때문이다.
웨이퍼 10장에서 게이트 산화막 두께 \(x\)(Å)와 문턱 전압 \(y\)(mV)를 재어 \(\bar x = 20.0\), \(\bar y = 420\), \(S_{xx} = 12.5\), \(S_{yy} = 5200\), \(S_{xy} = 200\)을 얻었다. 회귀 직선, \(r\), \(R^2\), 잔차 표준 편차 \(s\)를 구하라.
풀이 보기
회귀 계수의 추론
지금까지는 자료에 직선을 맞추기만 했다. 같은 공정에서 표준 시료를 다시 재면 점들이 조금씩 달라지고 최소 제곱 직선도 달라진다. 그 흔들림을 따지려면 자료가 생기는 방식을 모형으로 세워야 한다. 단순 선형 회귀(simple linear regression) 모형은 다음과 같다.
\(\hat\beta_1 = S_{xY}/S_{xx} = \sum c_iY_i\)(\(c_i = (x_i - \bar x)/S_{xx}\))는 정규 확률 변수들의 선형 결합이므로 정규 분포를 따른다. 6장의 선형 결합 공식으로 평균과 분산을 구하면 다음과 같다.
기울기의 분산이 \(\sigma^2/S_{xx}\)라는 것은 설계에 대한 조언이기도 하다. \(x\)를 넓게 퍼뜨릴수록 기울기가 정확해진다. 직접 확인하기 전에 예측해 보자.
표준 시료 10개를 \(x = 0\)부터 10까지 고르게 놓던 것을 \(x = 4\)부터 6까지로 좁혀 놓는다(개수와 측정 잡음은 그대로). 기울기 추정값의 표준 오차는 어떻게 될까?
기울기의 표본 분포 쌓기
\(\sigma\) 대신 \(s\)를 쓰면 표준화한 기울기는 자유도 \(n-2\)인 t 분포를 따른다. 10장의 신뢰 구간과 11장의 t 검정이 그대로 적용된다.
기울기 추정값 \(\hat\beta_1\) = 0.42, 표준 오차 0.18, 표본 크기 \(n\) = 20이면 \(t_0\) = (자유도 ), 양측 p 값은 이고 95% 신뢰 구간은 이다.
표준 오차가 \(\sigma/\sqrt{S_{xx}}\)라는 것을 손으로 확인해 보자. 아래에서 표준 시료를 놓을 위치 \(x\)를 끌어 옮기면 기울기의 표준 오차가 바뀐다.
분산 분석표
회귀의 유의성은 제곱합 분해로도 검정한다. 각 제곱합을 자유도로 나눈 평균 제곱의 비가 F 통계량이다. \(H_0: \beta_1 = 0\)이 참이면 \(F\)는 \(F_{1,n-2}\) 분포를 따른다. 단순 회귀에서는 \(F = t_0^2\)이어서 양측 t 검정과 결과가 같다. 다중 회귀에서는 F 검정이 "설명 변수 가운데 하나라도 쓸모가 있는가"를 묻는다(14장의 분산 분석과 같은 구조).
| 요인 | 제곱합 | 자유도 | 평균 제곱 | F |
|---|---|---|---|---|
| 회귀 | SSR | 1 | MSR = SSR/1 | MSR/MSE |
| 잔차 | SSE | n − 2 | MSE = s² | |
| 전체 | SST | n − 1 | ||
| 예(산화막–문턱 전압 자료): SSR 3200, SSE 2000(자유도 8, MSE 250), SST 5200, F = 12.8, p = 0.0072 | ||||
앞 예제의 산화막–문턱 전압 자료(\(n = 10\), \(b = 16\) mV/Å, \(s = 15.81\) mV, \(S_{xx} = 12.5\))에서 기울기의 95% 신뢰 구간을 구하고, 유의 수준 0.05에서 \(H_0: \beta_1 = 0\)을 검정하라.
풀이 보기
신뢰 띠와 예측 띠
회귀 직선을 쓰는 목적은 대개 어떤 \(x_0\)에서 \(y\)를 말하는 것이다. 그런데 질문이 두 가지다. "증착 시간 45 s에서 막두께의 평균은 얼마인가?"와 "다음에 45 s로 증착할 웨이퍼 한 장의 막두께는 얼마인가?"이다. 점추정값은 둘 다 \(\hat y_0 = \hat\beta_0 + \hat\beta_1x_0\)으로 같지만 불확실성이 다르다. 앞의 것은 직선 위치의 불확실성만 있고, 뒤의 것에는 웨이퍼 한 장의 산포 \(\sigma\)가 더해진다.
- \(\hat y_0 = \bar y + \hat\beta_1(x_0 - \bar x)\)이다. 첫째 항 \(\bar y\)의 분산 \(\sigma^2/n\)은 직선 전체를 위아래로 평행 이동시킨다.
- 둘째 항은 기울기의 오차가 \(\bar x\)를 축으로 직선을 돌리는 몫이다. 분산은 \(\sigma^2(x_0 - \bar x)^2/S_{xx}\)로, \(\bar x\)에서 멀수록 커진다. \(\bar y\)와 \(\hat\beta_1\)은 서로 독립이다.
- 두 분산을 더하면 \(\operatorname{Var}(\hat y_0) = \sigma^2[1/n + (x_0 - \bar x)^2/S_{xx}]\)이다. 띠는 \(\bar x\)에서 가장 좁고 양쪽으로 쌍곡선처럼 벌어진다.
- 새 관측 \(Y_0 = \beta_0 + \beta_1x_0 + \varepsilon_0\)은 직선 추정의 오차에 자신의 오차 \(\varepsilon_0\)(분산 \(\sigma^2\))가 더해진다. 그래서 예측 띠의 분산은 \(\sigma^2[1 + 1/n + (x_0 - \bar x)^2/S_{xx}]\)이다.
표준 시료를 아주 많이(\(n \to \infty\)) 재어 검량선을 만든다. \(x = \bar x\)에서 새 측정값 하나의 95% 예측 구간 폭은 어떻게 될까?
신뢰 띠와 예측 띠
예측 구간이 정말 95%의 새 관측을 담는지는 반복 실험으로 확인할 수 있다. 검량선 실험 전체와 새 측정 하나를 한 묶음으로 수없이 되풀이한다.
검량선을 거꾸로 읽기
계측에서는 검량선을 거꾸로 쓴다. 표준 시료로 \(y = a + bx\)를 세운 다음, 도즈를 모르는 시료의 신호 \(y_0\)을 재어 \(\hat x_0 = (y_0 - a)/b\)로 도즈를 읽는다. 이것을 역추정(inverse prediction, calibration)이라 한다. 같은 시료를 \(m\)번 반복 측정해 평균 \(\bar y_0\)을 쓰면, 델타 방법으로 얻은 근사 구간은 다음과 같다.
과녁 맞히기: 가장 싸게 ±5% 역추정
도즈 \(x\) = 1, 2, …, 8 (×10¹⁴ cm⁻²)인 표준 시료의 SIMS 신호 \(y\)(×10³ counts)가 3.5, 4.7, 8.1, 9.3, 13.2, 14.4, 17.3, 19.0이다. (가) 회귀 직선과 \(s\)를 구하라. (나) \(x_0 = 6\)에서 평균 신호의 95% 신뢰 구간과 새 측정의 95% 예측 구간을 구하라. (다) 미지 시료의 신호가 11.2일 때 도즈를 역추정하고 근사 95% 구간을 구하라.
풀이 보기
잔차 진단과 영향점
앞 절의 구간과 검정은 모두 모형 가정 위에 서 있다: 평균이 \(x\)의 직선이고(선형성), 오차가 서로 독립이며(독립성), 분산이 일정하고(등분산성), 정규 분포를 따른다(정규성). 가정을 확인하는 가장 좋은 도구는 숫자가 아니라 그림이다. 다음 네 자료는 평균, 분산, 상관 계수, 회귀 직선이 소수 둘째 자리까지 모두 같다(앤스컴의 네 쌍둥이).
잔차 \(e_i\)는 관측할 수 없는 오차 \(\varepsilon_i\)의 대리인이다. 가로축에 적합값 \(\hat y_i\)(또는 \(x_i\)), 세로축에 잔차를 찍은 잔차 그림에서 무늬가 없으면 좋은 신호다. 휘어진 무늬는 곡률(빠뜨린 항), 깔때기 무늬는 분산이 일정하지 않은 이분산성(heteroscedasticity), 홀로 떨어진 점은 이상값을 뜻한다. 시간 순서로 찍었을 때 이어진 무늬가 보이면 독립성이 깨진 것이다(장비 드리프트). 정규성은 잔차의 Q–Q 그림(12장)으로 본다.
잔차의 크기를 비교할 때는 잔차의 분산이 점마다 다르다는 것을 고려한다. \(\operatorname{Var}(e_i) = \sigma^2(1 - h_{ii})\)이므로 이것으로 나눈 스튜던트화 잔차(studentized residual) \(r_i = e_i/(s\sqrt{1 - h_{ii}})\)를 쓰고, \(|r_i| > 2\)(넉넉히 3)이면 살펴본다. 여기서 \(h_{ii}\)가 다음의 지렛값이다.
잔차 그림 읽기
자료 무리에서 오른쪽으로 멀리 떨어진 점 하나가 있다. 이 점이 다른 점들로 맞춘 직선 위에 정확히 놓여 있다면, 이 점은 영향점일까?
\((x, y)\) = (1, 2.1), (2, 3.9), (3, 6.2), (4, 7.8), (5, 10.1), (12, 17.0)에 직선을 맞추었다. 마지막 점의 지렛값, 스튜던트화 잔차, 쿡의 거리를 구하고, 이 점을 뺀 직선과 비교하라.
풀이 보기
① 산점도로 모양을 본다. ② 잔차 대 적합값: 곡률과 깔때기. ③ 잔차 대 시간·로트·장비 순서: 드리프트와 자기 상관. ④ 정규 Q–Q 그림: 꼬리. ⑤ 지렛값과 쿡의 거리: 결론이 점 몇 개에 달려 있지 않은가. 문제가 보이면 변환(다음 절), 항 추가, 가중 최소 제곱, 강건 회귀를 검토한다.
다중 회귀와 행렬 표기
막두께는 증착 시간 하나로만 정해지지 않는다. 히터 온도, 가스 유량, 챔버 압력, RF 전력이 함께 영향을 준다. 설명 변수가 \(k\)개인 다중 회귀(multiple regression) 모형은 다음과 같다.
식이 길어지면 행렬로 쓰는 편이 낫다. 각 관측을 한 행으로 쌓은 행렬 \(X\)를 설계 행렬(design matrix)이라 한다. 첫 열은 절편을 위한 1이다.
- 관측 \(n\)개를 쌓으면 \(\mathbf y = X\boldsymbol\beta + \boldsymbol\varepsilon\)이다. 설계 행렬 \(X\)의 첫 열은 1, 나머지 열은 설명 변수다.
- 잔차 제곱합을 벡터로 쓰고 \(\boldsymbol\beta\)로 미분해 0으로 놓으면 정규 방정식 \(X^{\mathsf T}X\hat{\boldsymbol\beta} = X^{\mathsf T}\mathbf y\)를 얻는다. 단순 회귀의 두 식이 바로 이것의 \(p = 2\)인 경우다.
- \(X^{\mathsf T}X\)의 역행렬이 있으면 \(\hat{\boldsymbol\beta} = (X^{\mathsf T}X)^{-1}X^{\mathsf T}\mathbf y\)이다. 계수들의 공분산 행렬은 \(\sigma^2(X^{\mathsf T}X)^{-1}\)이고, 그 대각 원소의 제곱근(\(\sigma\)를 \(s\)로 바꾼 것)이 각 계수의 표준 오차다.
- 적합값은 \(\hat{\mathbf y} = H\mathbf y\)이다. \(H\)는 \(\mathbf y\)를 \(X\)의 열들이 펼치는 평면에 수직으로 내리는 사영 행렬이라 모자 행렬(hat matrix)이라 부른다(\(\mathbf y\)에 모자를 씌운다). 잔차 벡터는 이 평면에 수직이다.
설명 변수가 둘이면 회귀식은 \((x_1, x_2, y)\) 공간의 평면이다. 아래 시뮬레이터는 CVD 장비의 히터 온도 편차 \(x_1\)과 가스 유량 편차 \(x_2\)(둘 다 표준화)로 막두께를 설명한다. 캔버스를 끌면 돌려 볼 수 있다.
회귀 평면과 다중 공선성
설명 변수끼리 강하게 상관된 상태를 다중 공선성(multicollinearity)이라 한다. \(x_j\)를 나머지 설명 변수로 회귀했을 때의 결정 계수를 \(R_j^2\)라 하면, 계수의 분산은 다른 변수가 없을 때보다 다음 배수만큼 커진다.
센서 \(x_j\)를 나머지 센서들로 회귀한 결정 계수가 \(R_j^2\) = 0.900이면 \(\mathrm{VIF}_j\) = 이고, \(\hat\beta_j\)의 표준 오차는 공선성이 없을 때의 배다. 같은 정밀도를 얻으려면 표본이 배 필요하다.
다중 회귀에서도 \(R^2 = 1 - \mathrm{SSE}/\mathrm{SST}\)를 쓰지만, 설명 변수를 하나 더 넣으면 SSE는 줄거나 같으므로 \(R^2\)는 쓸모없는 변수에도 늘어난다. 그래서 자유도로 보정한 수정 결정 계수(adjusted R²)를 함께 본다.
CVD 온도 \(x_1\)과 압력 \(x_2\)를 −1(낮음), +1(높음)로 코딩한 네 조건과 중심점 하나에서 막두께(nm)를 재었다: \((x_1, x_2, y)\) = (−1, −1, 48), (1, −1, 56), (−1, 1, 52), (1, 1, 62), (0, 0, 55). \(X^{\mathsf T}X\), \(\hat{\boldsymbol\beta}\), \(s^2\), 각 계수의 표준 오차를 구하라.
풀이 보기
가상 계측과 외삽
모든 웨이퍼를 계측하면 시간과 비용이 든다. 가상 계측(virtual metrology, VM)은 장비 센서 값(온도, 압력, 전력, 종점 신호)으로 회귀 모형을 세워 계측하지 않은 웨이퍼의 결과를 예측한다. 위험은 외삽이다. 센서들이 서로 상관되어 있으면 학습 자료는 센서 공간의 좁은 띠에만 놓이고, 새 웨이퍼가 그 띠를 벗어나면 각 센서 값이 따로 보기에는 평범해도 조합이 처음 보는 영역일 수 있다. 새 점 \(\mathbf x_0\)의 지렛값 \(h_{00} = \mathbf x_0^{\mathsf T}(X^{\mathsf T}X)^{-1}\mathbf x_0\)가 학습 자료의 최대 지렛값을 넘으면 외삽이다(숨은 외삽).
가상 계측: 새 웨이퍼는 안쪽인가
다항·변환 회귀와 과적합
"선형" 회귀의 선형은 계수에 대해 선형이라는 뜻이다. \(y = \beta_0 + \beta_1x + \beta_2x^2\)은 \(x\)에 대해 곡선이지만 \(x_1 = x\), \(x_2 = x^2\)으로 놓으면 다중 회귀 그대로다. 이것이 다항 회귀(polynomial regression)다. \(x\)와 \(x^2\)은 강하게 상관되므로 \(x - \bar x\)로 중심화하고 넣는다. 지수·거듭제곱 관계는 변환으로 직선을 만든다.
| 관계 | 변환 | 직선의 기울기·절편 | 예 |
|---|---|---|---|
| \(y = Ae^{kx}\) | \(\ln y\) 대 \(x\) | \(k\), \(\ln A\) | 누설 전류 대 전압, 열화 |
| \(y = cx^{k}\) | \(\ln y\) 대 \(\ln x\) | \(k\), \(\ln c\) | 수명 대 스트레스(멱법칙), 잡음 스펙트럼 |
| \(k = A\exp(-E_a/k_BT)\) | \(\ln k\) 대 \(1/T\) | \(-E_a/k_B\), \(\ln A\) | 산화·확산·식각 속도, 가속 수명 |
변환은 오차 구조도 바꾼다. 원래 축에서 오차가 곱셈 꼴(예: ±3%)이면 로그 축에서 더하기 꼴이 되어 등분산 가정에 맞는다. 반대로 원래 축의 오차가 더하기 꼴이면 로그를 취한 뒤 작은 값 쪽 잔차가 커진다. 로그 축에서 구한 예측을 지수로 되돌리면 평균이 아니라 중앙값의 추정이 된다는 점도 기억하자.
열산화 속도 \(k\)(nm/min)를 700, 750, 800, 850, 900 °C에서 재어 2.57, 5.01, 10.1, 18.6, 31.0을 얻었다. \(\ln k\)를 \(1/T\)(T는 K)로 회귀해 활성화 에너지 \(E_a\)와 95% 신뢰 구간을 구하라. \(k_B = 8.617\times10^{-5}\) eV/K.
풀이 보기
과적합
다항식의 차수를 올리면 학습 자료의 SSE는 계속 줄어든다. 점이 \(n\)개면 \(n-1\)차 다항식이 모든 점을 정확히 지나 SSE가 0이 된다. 그러나 그 곡선은 잡음까지 외운 것이라 새 자료에서는 엉망이다. 자료의 잡음까지 맞추느라 새 자료에 대한 예측이 나빠지는 현상을 과적합(overfitting)이라 한다.
점 12개에 다항식을 맞춘다. 차수를 1에서 10까지 올릴 때, 맞춤에 쓰지 않은 새 자료(시험 자료)에서의 오차는 어떻게 변할까?
다항식 차수와 시험 오차
실무에서는 시험 자료를 따로 떼어 두기 어려우므로 교차 검증(cross-validation)을 쓴다. 자료를 \(K\)묶음으로 나누어 하나씩 빼고 맞춘 뒤 뺀 묶음을 예측하는 일을 돌아가며 하고, 예측 오차를 평균한다. 한 점씩 빼는 경우(LOOCV)는 다시 맞출 필요 없이 잔차와 지렛값만으로 \(\mathrm{PRESS} = \sum[e_i/(1 - h_{ii})]^2\)로 계산된다. 수정 \(R^2\), AIC, BIC도 복잡도에 벌점을 주어 같은 목적을 이룬다. 그리고 무엇보다 물리적으로 말이 되는 가장 단순한 모형을 먼저 고른다.
로지스틱 회귀 맛보기
반응이 합격·불합격, 고장·생존처럼 두 값뿐일 때가 있다. 산화막에 스트레스 전압 \(x\)를 걸고 소자가 파괴되었는지(\(y = 1\)) 아닌지(\(y = 0\))를 기록했다면, 관심은 \(p(x) = P(Y = 1\mid x)\)이다. 0/1 자료에 직선을 맞추면 \(p\)가 0보다 작거나 1보다 커지고, 분산 \(p(1-p)\)도 \(x\)마다 달라 최소 제곱의 가정이 깨진다. 대신 확률을 S자 곡선으로 모형화하는 것이 로지스틱 회귀(logistic regression)다.
과녁 맞히기: S자 곡선을 손으로 맞추기
로지스틱 회귀 결과가 \(\hat\beta_0\) = -12.0, \(\hat\beta_1\) = 2.0 /V이면 파괴 확률이 50%인 전압은 이고, 1 V 올릴 때 파괴 오즈는 배가 된다. 스트레스 7.0 V에서 파괴 확률은 , 파괴 확률을 1% 이하로 두려면 이하로 써야 한다.
스트레스 전압 \(x\)(V)에 대한 산화막 파괴의 로지스틱 회귀가 \(\hat\beta_0 = -12.0\), \(\hat\beta_1 = 2.0\)이다. \(x_{50}\), 1 V당 오즈비, 5 V와 7 V에서의 파괴 확률을 구하라.
풀이 보기
로지스틱 회귀는 다중 회귀처럼 설명 변수를 여럿 둘 수 있고, 계수의 검정은 \(z = \hat\beta_j/\mathrm{SE}\)(왈드 검정)로 한다. 수율 분석에서 다이가 불량일 확률을 위치·검사 결과로 모형화하거나, 17장의 수명 자료에서 정해진 시간까지의 고장 여부를 스트레스로 설명할 때 쓴다. 더 넓은 일반화 선형 모형(포아송 회귀 등)으로 가는 출발점이기도 하다.
핵심 정리
- 최소 제곱 직선은 잔차 제곱합 \(\sum(y_i - a - bx_i)^2\)을 최소로 만든다: \(b = S_{xy}/S_{xx}\), \(a = \bar y - b\bar x\). 직선은 \((\bar x, \bar y)\)를 지나고, \(\sum e_i = 0\), \(\sum x_ie_i = 0\)이다.
- \(\mathrm{SST} = \mathrm{SSR} + \mathrm{SSE}\), \(R^2 = \mathrm{SSR}/\mathrm{SST} = r^2\)(단순 회귀). \(b = r\,s_y/s_x\)이므로 예측은 평균 쪽으로 당겨진다(평균으로의 회귀). \(R^2\)와 함께 \(s = \sqrt{\mathrm{SSE}/(n-2)}\)를 보고한다.
- 모형 \(Y = \beta_0 + \beta_1x + \varepsilon\), \(\varepsilon \sim N(0, \sigma^2)\)에서 \(\hat\beta_1 \sim N(\beta_1, \sigma^2/S_{xx})\). 구간 \(\hat\beta_1 \pm t_{\alpha/2,n-2}\,s/\sqrt{S_{xx}}\), 검정 \(t_0 = \hat\beta_1/\mathrm{SE}\), \(F = t_0^2\). \(x\)를 넓게 배치하면 기울기가 정확해진다.
- 평균 반응의 신뢰 구간은 \(s\sqrt{1/n + (x_0 - \bar x)^2/S_{xx}}\), 새 관측의 예측 구간은 \(s\sqrt{1 + 1/n + (x_0 - \bar x)^2/S_{xx}}\)에 비례한다. 둘 다 \(\bar x\)에서 가장 좁고 외삽에서 넓다. 검량선 역추정 \(\hat x_0 = (\bar y_0 - a)/b\)의 불확실성은 \(s/|b|\)에 비례한다.
- 잔차 그림으로 곡률·이분산·이상값·드리프트를 본다. 지렛값 \(h_{ii} = 1/n + (x_i - \bar x)^2/S_{xx}\)(평균 \(p/n\))은 잠재력, 쿡의 거리 \(D_i\)는 실제 영향이다. 숫자 요약만으로는 앤스컴의 네 자료를 구별하지 못한다.
- 다중 회귀: \(\hat{\boldsymbol\beta} = (X^{\mathsf T}X)^{-1}X^{\mathsf T}\mathbf y\), \(\operatorname{Cov}(\hat{\boldsymbol\beta}) = \sigma^2(X^{\mathsf T}X)^{-1}\), \(\hat{\mathbf y} = H\mathbf y\). 공선성은 표준 오차를 \(\sqrt{\mathrm{VIF}} = 1/\sqrt{1 - R_j^2}\)배로 부풀린다. 가상 계측에서는 새 점의 지렛값으로 숨은 외삽을 잡는다.
- 다항식과 변환(\(\ln y\), \(\ln x\), \(1/T\))으로 곡선 관계를 선형 회귀로 다룬다. 복잡도를 올리면 학습 오차는 줄지만 시험 오차는 U자를 그린다(과적합) — 교차 검증과 수정 \(R^2\)로 고른다. 0/1 반응은 로지스틱 회귀로, 로짓 \(\ln[p/(1-p)]\)가 \(x\)의 직선이고 \(e^{\beta_1}\)이 오즈비다.
연습문제
필요하면 부록 A의 분포 계산기로 t·F 분위수를 구한다. 따로 말이 없으면 단순 선형 회귀 모형의 가정(독립, 등분산, 정규 오차)을 따른다. 답이 ±1% 이내면 정답이다.
자료 5쌍에서 \(\sum x = 15\), \(\sum y = 40\), \(\sum x^2 = 55\), \(\sum xy = 140\)이다. 최소 제곱 직선의 기울기와 절편, \(x = 4\)에서의 예측값을 구하라.
\(S_{xx} = 55 - 45 = 10\), \(S_{xy} = 140 - 120 = 20\), \(b = 2\), \(a = 8 - 2\times3 = 2\), \(\hat y(4) = 10\).
회귀 분석에서 \(\mathrm{SST} = 250\), \(\mathrm{SSE} = 40\)이고 기울기는 양수다. 결정 계수와 표본 상관 계수를 구하라.
\(R^2 = 1 - 40/250 = 0.84\). 단순 회귀에서 \(r = +\sqrt{R^2} = 0.917\)(기울기와 부호가 같다).
막두께를 증착 시간으로 회귀해 \(R^2 = 0.95\)를 얻었다. 옳은 해석은?
\(R^2 = \mathrm{SSR}/\mathrm{SST}\)는 설명된 변동의 비율이다. 곡선 자료에서도 \(R^2\)는 높을 수 있으므로 모형이 옳다는 증명이 아니며, 잔차 그림으로 확인해야 한다. 유의성은 t 또는 F 검정으로 따로 판단한다.
\(n = 12\)인 단순 회귀에서 \(\mathrm{SSE} = 18\), \(S_{xx} = 50\)이다. 잔차 표준 편차 \(s\)와 기울기의 표준 오차를 구하라.
\(s^2 = 18/10 = 1.8\), \(s = 1.342\). \(\mathrm{SE} = 1.342/\sqrt{50} = 0.190\).
\(n = 15\)인 검량선에서 \(\hat\beta_1 = 0.85\), \(\mathrm{SE}(\hat\beta_1) = 0.12\)이다. 기울기의 95% 신뢰 구간을 구하라. 장비가 기준과 1:1로 맞는다(\(\beta_1 = 1\))는 가설과 모순되는가?
\(0.85 \pm 2.160\times0.12 = 0.85 \pm 0.259\), 곧 \((0.591, 1.109)\). 구간이 1을 포함하므로 유의 수준 0.05에서 \(\beta_1 = 1\)을 기각할 수 없다(맞는다는 증명은 아니다).
\(n = 20\)인 회귀에서 \(\hat\beta_1 = 0.42\), \(\mathrm{SE} = 0.18\)이다. \(H_0: \beta_1 = 0\)의 검정 통계량과 양측 p 값을 구하라.
\(t_0 = 0.42/0.18 = 2.333\), 자유도 18. \(p = 2P(T_{18} > 2.333) = 0.0314\). 유의 수준 0.05에서 기각한다.
\(n = 10\), \(\bar x = 5\), \(S_{xx} = 40\), \(s = 0.8\)인 회귀에서 \(x_0 = 8\)일 때 평균 반응의 95% 신뢰 구간 반폭과 새 관측의 95% 예측 구간 반폭을 구하라.
신뢰: \(2.306\times0.8\sqrt{0.1 + 0.225} = 1.052\). 예측: \(2.306\times0.8\sqrt{1.1 + 0.225} = 2.124\). 예측 구간이 두 배쯤 넓다.
검량선이 \(\hat y = 0.52 + 2.40x\)(\(x\): 도즈 ×10¹⁴ cm⁻², \(y\): 신호 ×10³ counts)이다. 미지 시료의 신호가 9.0일 때 도즈를 추정하라.
\(\hat x_0 = (9.0 - 0.52)/2.40 = 3.533\).
\(x = 1, 2, \dots, 8\)에 놓인 표준 시료로 직선을 맞춘다. \(x = 8\)인 점의 지렛값은? 기준 \(2p/n\)과 비교하라.
\(\bar x = 4.5\), \(S_{xx} = 42\). \(h = 1/8 + 3.5^2/42 = 0.125 + 0.2917 = 0.417\). 기준 \(2\times2/8 = 0.5\)보다 작다. 고르게 놓인 설계에서는 끝점의 지렛값도 과하지 않다.
단순 회귀(\(p = 2\))에서 어떤 점의 잔차가 1.2, 지렛값이 0.4이고 \(s^2 = 0.5\)이다. 쿡의 거리를 구하고 영향점인지 판정하라.
\(D = \dfrac{e^2}{ps^2}\cdot\dfrac{h}{(1-h)^2} = \dfrac{1.44}{1.0}\cdot\dfrac{0.4}{0.36} = 1.6\). 1을 넘으므로 영향점이다. 이 점을 빼고 다시 맞춰 결론이 바뀌는지 확인한다.
가상 계측 모형에서 히터 전력 센서를 나머지 센서들로 회귀한 결정 계수가 0.90이다. 이 센서 계수의 VIF와, 표준 오차가 공선성이 없을 때의 몇 배인지 구하라.
\(\mathrm{VIF} = 1/(1 - 0.9) = 10\), 표준 오차 배수 \(\sqrt{10} = 3.16\).
설명 변수 3개인 다중 회귀를 \(n = 20\)개 자료에 맞춰 \(R^2 = 0.80\)을 얻었다. 수정 결정 계수와 전체 F 통계량을 구하라.
\(R^2_{\text{adj}} = 1 - 0.2\times19/16 = 0.7625\). \(F = (0.8/3)/(0.2/16) = 21.33\), 자유도 (3, 16)에서 p 값은 \(10^{-5}\) 정도로 매우 작다.
여섯 온도에서 잰 확산 계수로 \(\ln D\)를 \(1/T\)에 회귀해 기울기 \(-13900\) K, 표준 오차 450 K를 얻었다. 활성화 에너지와 95% 신뢰 구간을 구하라. \(k_B = 8.617\times10^{-5}\) eV/K, \(t_{0.025,4} = 2.776\).
\(E_a = 13900\times8.617\times10^{-5} = 1.198\) eV. 기울기 구간 \(13900 \pm 2.776\times450 = 13900 \pm 1249\) K → \(E_a \in (1.090, 1.305)\) eV.
잔차 대 적합값 그림에서 적합값이 클수록 잔차가 넓게 퍼지는 깔때기 모양이 보였다. 가장 의심되는 것은?
깔때기는 이분산성의 전형이다. 측정 오차가 값에 비례(상대 오차 일정)하는 경우가 많고, 로그 변환이나 가중 최소 제곱으로 다룬다.
번인 시간 \(x\)(h)에 따른 조기 고장 검출 여부의 로지스틱 회귀가 \(\hat\beta_0 = -9\), \(\hat\beta_1 = 0.6\)이다. \(x = 20\)에서의 검출 확률, \(x_{50}\), \(x\)가 5 h 늘 때의 오즈비를 구하라.
\(\eta = -9 + 12 = 3\), \(p = 1/(1 + e^{-3}) = 0.953\). \(x_{50} = 9/0.6 = 15\) h. 오즈비 \(e^{0.6\times5} = e^3 = 20.1\).
웨이퍼의 참 두께는 평균 100 nm, 표준 편차 2 nm이고 계측 오차는 표준 편차 1 nm(독립)다. 1차 측정값이 105 nm인 웨이퍼를 다시 재면 2차 측정값의 기댓값은?
\(\rho = 4/5 = 0.8\). \(E[M_2\mid M_1 = 105] = 100 + 0.8\times5 = 104\) nm. 1차의 5 nm 초과분 중 1 nm는 측정 오차 몫으로 보아 되돌아온다.
개념 확인 퀴즈
최소 제곱 직선이 최소로 만드는 것은?
같은 검량선 자료에서 \(x_0\)을 \(\bar x\)에서 멀리 옮길 때 일어나지 않는 일은?
지렛값이 매우 큰 점에 대한 설명으로 옳은 것은?
다중 회귀에서 두 설명 변수의 상관이 0.98이다. 예상되는 증상은?
다항식 차수를 계속 올릴 때 반드시 일어나는 일은?