Chapter 11

가설 검정

새 식각 레시피로 웨이퍼 열두 장을 흘렸더니 접촉 저항 평균이 기존보다 4% 낮게 나왔다. 정말 좋아진 걸까, 웨이퍼마다 원래 있는 흔들림이 우연히 그렇게 보였을 뿐일까? 가설 검정은 이 질문을 "아무 변화가 없다면 이런 결과가 얼마나 드물게 나오는가"라는 질문으로 바꿔서 답한다. 아래 그림에서 자주색 곡선은 변화가 없을 때 표본 평균이 흩어지는 모양이고, 파란 곡선은 실제로 효과가 있을 때의 모양이다. 빨간 기준선보다 오른쪽에 떨어진 결과를 "개선"으로 판정한다. 기준선을 끌어 판정을 엄하게 하거나 느슨하게 해 보자. 한쪽 오류를 줄이면 다른 쪽 오류가 커진다.

빨간 기준선·파란 꼭짓점을 끈다 · 빈 곳을 누르면 세계 전환

주장을 귀무가설 $H_0$와 대립가설 $H_1$로 옮기고, 단측 검정과 양측 검정을 구분한다.
검정 통계량, 기각역, 유의 수준 $\alpha$의 관계를 설명하고 z 검정과 t 검정을 수행한다.
p 값을 "$H_0$가 참일 때 관측값만큼 또는 그보다 극단적인 결과가 나올 확률"로 해석하고, 흔한 오해를 피한다.
제1종·제2종 오류와 검정력 $1-\beta$를 계산하고, 검정력 곡선으로 필요한 표본 크기를 정한다.
단일 표본, 두 표본(합동·웰치), 대응 t 검정 가운데 맞는 것을 고르고, 신뢰 구간과 검정이 같은 결론을 낸다는 쌍대성을 쓴다.
비율 검정(정규 근사·정확 이항), 분산의 카이제곱 검정, 두 분산의 F 검정을 수행한다.
여러 검정을 한꺼번에 할 때 거짓 경보가 늘어나는 정도를 계산하고 본페로니·홀름 보정을 적용한다.

귀무가설과 대립가설

모수에 대한 주장을 통계적 가설(statistical hypothesis)이라 한다. "새 레시피의 평균 접촉 저항은 150 Ω보다 낮다", "두 장비의 막두께 평균은 같다", "이번 달 수율은 92%다"가 모두 통계적 가설이다. 가설 검정에서는 가설 두 개를 맞세운다.

귀무가설과 대립가설

귀무가설(null hypothesis) $H_0$는 "변화 없음, 차이 없음, 효과 없음"을 말하는 기준 가설이다. 등호를 포함하고($\mu = \mu_0$), 증거가 충분하지 않으면 그대로 유지된다. 대립가설(alternative hypothesis) $H_1$은 자료로 보이고 싶은 주장이다. 검정은 $H_0$를 가정하고 출발해서, 자료가 그 가정과 어울리지 않을 만큼 극단적일 때만 $H_0$를 버리고 $H_1$을 받아들인다.

이 논리는 형사 재판과 같다. 피고인은 유죄가 입증되기 전까지 무죄로 추정되고, 검사는 합리적 의심을 넘는 증거를 내야 한다. 증거가 모자라 무죄가 선고되었다고 해서 결백이 증명된 것은 아니다. 아래 그림에서 단계를 넘겨 보자.

검정은 $H_0$(효과 없음)가 참이라고 가정하고 출발한다. 입증 책임은 $H_1$ 쪽에 있다.
자료를 모아 $H_0$와 얼마나 어긋나는지를 숫자 하나, 곧 검정 통계량으로 요약한다.
그 숫자가 "$H_0$가 참이라면 좀처럼 나오지 않는 영역"(기각역)에 들면 $H_0$를 기각한다. 들지 않으면 "기각하지 못한다"고만 말한다.
판결은 틀릴 수 있다. 무고한 $H_0$를 기각하는 제1종 오류와, 거짓인 $H_0$를 놓아주는 제2종 오류다. 4절에서 두 오류를 계산한다.

재판과 가설 검정. 법정이 "무고한 사람을 벌하는 오류"를 더 무겁게 보듯, 검정도 제1종 오류의 확률 $\alpha$를 먼저 작게 정해 두고 그 안에서 제2종 오류를 줄인다.

대립가설은 보이고 싶은 방향에 따라 세 가지 꼴이 있다. 기준값을 $\mu_0$라 하면

$$H_1:\ \mu \ne \mu_0\ \ (\text{양측}),\qquad H_1:\ \mu > \mu_0\ \ (\text{우측}),\qquad H_1:\ \mu < \mu_0\ \ (\text{좌측})$$

어느 쪽으로든 벗어났는지 보는 검정을 양측 검정(two-sided test), 한 방향만 보는 검정을 단측 검정(one-sided test)이라 한다. 막두께가 목표에서 벗어났는지 보는 일은 양측, 새 레시피가 저항을 낮췄는지 보는 일은 좌측이다.

방향은 자료를 보기 전에 정한다. 자료를 보고 평균이 올라간 것을 확인한 뒤에 "우측 검정"을 고르면 실제 제1종 오류 확률이 두 배가 된다. 확신이 서지 않으면 양측 검정을 쓴다.

"드물다"는 감각을 먼저 손으로 익혀 보자. 기존 레시피와 새 레시피로 웨이퍼를 한 장씩 짝지어 20쌍을 흘렸더니, 새 레시피가 15쌍에서 이겼다. 두 레시피가 똑같다면($H_0$) 각 쌍에서 어느 쪽이 이길지는 동전 던지기와 같다. 그런 세계를 여러 번 돌려 보면 15번 이상 이기는 일이 얼마나 자주 생길까?

MINI LAB조작: 빨간 표시(관측값)를 좌우로 끈다. 막대 하나는 $H_0$ 세계에서 20쌍을 비교했을 때 새 레시피가 이긴 횟수다. 자주색 점은 이론값 $\mathrm{Bin}(20, 0.5)$이다. 관측값 15 이상인 칸(빨강)의 비율은 약 2%로, 우연만으로는 50번에 한 번꼴이다. 관측값을 12로 끌면 25% 정도로 흔한 일이 된다.

15번 이상 이기는 일이 우연만으로는 2%밖에 일어나지 않는다면, 둘 중 하나다. 아주 드문 일이 일어났거나, $H_0$가 틀렸거나. 가설 검정은 미리 정한 기준(보통 5%)보다 드물면 뒤쪽을 택한다. 이 "2%"가 3절의 p 값이다.

검정 결과 $H_0$(새 레시피와 기존 레시피의 평균이 같다)를 기각하지 못했다. 엔지니어가 보고서에 쓸 수 있는 결론은?

기각하지 못한 것은 증거가 모자랐다는 뜻이다. 표본이 작거나 산포가 크면 실제 차이가 있어도 기각하지 못한다(제2종 오류). 그래서 "같다"를 보이려면 차이의 신뢰 구간이 실무적으로 무시할 수 있는 범위 안에 드는지 따로 확인해야 한다(동등성 검정). $H_0$가 참일 확률은 고전적 검정이 계산하지 않는 값이다.

H₀를 "채택"하지 않는다

교과서에 따라 "$H_0$ 채택"이라는 말을 쓰기도 하지만, 뜻은 언제나 "기각하지 못함"이다. PCN(공정 변경 통지) 보고서에서 "변경 전후 차이 없음(p = 0.31)"이라고 쓰려면, 그 실험이 의미 있는 크기의 차이를 잡아낼 검정력이 있었는지도 함께 적어야 한다. 웨이퍼 세 장으로 한 비교의 "차이 없음"은 거의 아무것도 말해 주지 않는다.

검정 통계량과 기각역

자료가 $H_0$와 얼마나 어긋나는지를 숫자 하나로 요약한 것을 검정 통계량(test statistic)이라 한다. 좋은 검정 통계량은 두 조건을 갖춘다. $H_0$에서 멀어질수록 값이 커지고, $H_0$가 참일 때의 분포를 정확히 안다. 모평균 검정에서 표준 편차 $\sigma$를 안다면 8장의 결과에서 바로 나온다.

$$Z = \frac{\bar X - \mu_0}{\sigma/\sqrt n}\ \sim\ N(0, 1)\quad (H_0:\ \mu = \mu_0\ \text{가 참일 때})$$

분자는 관측한 차이, 분모는 그 차이의 표준 오차다. 즉 $Z$는 "관측한 차이가 우연한 흔들림의 몇 배인가"를 잰다. 모집단이 정규 분포면 정확하고, 아니어도 $n$이 크면 중심 극한 정리로 근사적으로 성립한다.

$H_0$ 아래에서 좀처럼 나오지 않는 값의 영역을 기각역(rejection region, critical region)이라 하고, 그 경계를 임계값(critical value)이라 한다. 기각역의 확률, 곧 $H_0$가 참인데도 기각할 확률을 유의 수준(significance level) $\alpha$라 한다. 보통 0.05, 엄격한 판단에는 0.01을 쓴다. 기각역은 대립가설 쪽 꼬리에 놓는다.

대립가설 방향과 기각역. 양측 검정은 $\alpha$를 두 꼬리에 반씩 나누므로 임계값이 $z_{\alpha/2} = 1.96$(α = 0.05)으로, 단측 검정의 $z_\alpha = 1.645$보다 바깥에 있다.

대립가설	기각역 (z 검정)	α = 0.10	α = 0.05	α = 0.01
$\mu \ne \mu_0$	$\|z\| > z_{\alpha/2}$	1.645	1.960	2.576
$\mu > \mu_0$	$z > z_\alpha$	1.282	1.645	2.326
$\mu < \mu_0$	$z < -z_\alpha$	−1.282	−1.645	−2.326

검정 절차는 늘 다섯 단계다. 산화막 두께 예로 따라가 보자. 목표는 100 nm이고 오랜 이력에서 $\sigma = 1.2$ nm로 알려져 있다. 웨이퍼 9장의 평균이 100.9 nm였다.

가설을 세운다. 목표에서 어느 쪽으로든 벗어났는지가 관심이므로 양측이다.
자료를 보기 전에 유의 수준 $\alpha = 0.05$를 정하고 기각역 $|z| > 1.96$을 그린다.
자료로 검정 통계량을 계산한다. 관측한 차이 0.9 nm는 표준 오차 0.4 nm의 2.25배다.
통계량이 기각역에 드는지 본다. 같은 판단을 p 값으로 할 수도 있다(3절).
결론을 공정의 말로 쓴다: "평균 두께가 목표에서 벗어났다(z = 2.25, p = 0.024)."

가설 검정의 다섯 단계. ①과 ②는 자료를 보기 전에 끝낸다.

목표 $\mu_0$ = 100.0, 알려진 $\sigma$ = 1.2인 공정에서 웨이퍼 9장의 평균이 100.90였다. 표준 오차는 , 검정 통계량은 $z$ = 이다. 양측 검정의 유의 수준 0.05에서 임계값은 이므로 .

유의 수준 $\alpha$가 정말로 "$H_0$가 참일 때 기각하는 비율"인지 반복 실험으로 확인하자. 먼저 예측해 보자.

참 평균이 정말로 100 nm인 공정(즉 $H_0$가 참)에서 웨이퍼 9장씩 뽑아 $\alpha = 0.05$ 양측 z 검정을 1000번 하면, $H_0$를 몇 번쯤 기각할까?

$H_0$가 참이어도 $Z$는 $N(0,1)$을 따라 흔들리고, 그중 5%는 $|Z| > 1.96$에 떨어진다. 이것이 유의 수준의 정의이고, 그 50번이 모두 제1종 오류다. 아래에서 기준선을 끌어 $\alpha$를 바꾸면 기각 비율이 따라 움직인다.

SIMULATOR

검정 통계량을 1000번 쌓기

대립가설

참 평균 μ 표본 크기 n

검정 반복

검정 횟수—

기각 비율—

임계값과 α—

이론 기각 확률—

조작: 아래 그래프의 빨간 기준선(흰 원)을 끈다. 위: $N(\mu, 1.2^2)$에서 뽑은 웨이퍼 9장과 그 평균. 아래: 검정할 때마다 $z = (\bar x - 100)/(1.2/\sqrt n)$이 한 칸씩 쌓이고, 자주색 곡선은 $H_0$ 아래의 $N(0,1)$이다. 기각된 검정은 빨강으로 칠한다. 해볼 것: ① $\mu = 100$에서 1000번 돌려 기각 비율이 $\alpha$에 가까운지 보자. ② 기준선을 1.0 근처로 끌어 $\alpha$를 키우면 기각 비율이 따라 커진다. ③ 참 평균을 100.8로 옮기면 히스토그램 전체가 오른쪽으로 밀리고 기각 비율이 크게 뛴다. 이것이 4절의 검정력이다.

CVD 산화막의 목표 두께는 $\mu_0 = 100$ nm이고, 장기 이력에서 $\sigma = 1.2$ nm로 안정되어 있다. 예방 정비 뒤 웨이퍼 9장을 재었더니 평균이 100.9 nm였다. 유의 수준 0.05로 평균이 목표에서 벗어났는지 검정하라. 유의 수준을 0.01로 하면 결론이 어떻게 되는가?

풀이 보기

전략 $\sigma$를 알므로 z 검정. 정비 뒤 어느 방향으로 벗어났는지 모르므로 양측이다.

풀이 $H_0: \mu = 100$, $H_1: \mu \ne 100$. $z = (100.9 - 100)/(1.2/\sqrt 9) = 0.9/0.4 = 2.25$. α = 0.05의 기각역은 $|z| > 1.960$이므로 기각한다. p 값은 $2[1 - \Phi(2.25)] = 2(0.01222) = 0.0244$. α = 0.01이면 기각역이 $|z| > 2.576$이므로 기각하지 못한다.

z = 2.25, p = 0.024. α = 0.05에서는 H₀ 기각(평균이 벗어났다), α = 0.01에서는 기각 못함

검토 같은 자료라도 $\alpha$에 따라 결론이 갈린다. 그래서 결론과 함께 p 값을 보고하면 읽는 사람이 자기 기준으로 판단할 수 있다. 0.9 nm 차이가 실무적으로 중요한지는 통계와 별개로 판단할 문제다.

p 값의 뜻과 오해

기각역 방식은 "기각/기각 못함"만 알려 준다. z = 1.97과 z = 4.5는 모두 기각이지만 증거의 세기가 전혀 다르다. 증거의 세기를 연속적인 숫자로 보고하는 것이 p 값이다.

p 값

p 값(p-value) 또는 유의 확률은 $H_0$가 참이라고 가정할 때, 검정 통계량이 실제로 관측한 값만큼 또는 그보다 더 $H_1$ 쪽으로 극단적인 값이 나올 확률이다. $p \le \alpha$이면 $H_0$를 기각한다. 이 판정은 기각역 방식과 언제나 같다.

$$p = P(Z \ge z_{\text{obs}}\mid H_0)\ \ (\text{우측}),\qquad p = P(Z \le z_{\text{obs}}\mid H_0)\ \ (\text{좌측}),\qquad p = 2\,P(Z \ge |z_{\text{obs}}|\mid H_0)\ \ (\text{양측})$$

t 검정이면 $Z$ 대신 자유도 $\nu$인 $T$의 꼬리 넓이를 쓴다. p 값은 $H_0$ 분포의 꼬리 넓이이므로, 관측값이 기각역 경계(임계값)와 정확히 같으면 $p = \alpha$다.

SIMULATOR

p 값은 꼬리 넓이

대립가설

분포

t의 자유도 ν 유의 수준 α

관측 통계량—

p 값 (초록 넓이)—

임계값 (빨간 선)—

판정—

조작: 초록 관측값(흰 원)을 좌우로 끈다. 초록 넓이가 p 값, 빨간 점선 바깥이 넓이 $\alpha$인 기각역이다. 해볼 것: ① 관측값을 임계값 위에 정확히 올리면 p 값이 $\alpha$와 같아진다. ② 같은 관측값 2.0에서 양측과 단측의 p 값을 비교하자. 양측이 정확히 두 배다. ③ 분포를 t(ν = 3)로 바꾸면 꼬리가 두꺼워져 같은 2.0의 p 값이 커진다. 표본이 작을수록 같은 통계량의 증거가 약하다. ④ "과제" 단추를 누르면 목표 p 값이 주어진다. 관측값을 끌어 ±5% 안으로 맞혀 보자.

p 값은 표본마다 달라지는 통계량이기도 하다. 그렇다면 $H_0$가 참일 때 p 값은 어떤 분포를 따를까?

$H_0$가 참인 실험을 1000번 반복해 p 값을 하나씩 모아 히스토그램을 그리면 어떤 모양일까?

$H_0$가 참이고 통계량이 연속이면 p 값은 $\mathrm{U}(0, 1)$을 따른다. $P(p \le \alpha) = \alpha$가 모든 $\alpha$에서 성립하기 때문이다. 그래서 p = 0.8이 p = 0.3보다 "$H_0$를 더 지지"하는 것도 아니다. 효과가 있으면 히스토그램이 0 쪽으로 몰린다.

SIMULATOR

p 값의 분포와 엿보기의 함정

실험 방식

참 효과 δ/σ 표본 크기 n (엿보기: 최대 n)

실험 반복

실험 횟수—

p < 0.05 비율—

이론값—

한 실험은 $N(\delta, 1)$에서 $n$개를 뽑아 $H_0: \mu = 0$을 양측 t 검정한다. 빨간 칸이 $p < 0.05$, 점선은 균일 분포의 높이다. 해볼 것: ① δ = 0에서 1000번: 히스토그램이 평평하고 $p < 0.05$는 약 5%다. ② δ = 0.5로 올리면 p 값이 0 쪽으로 쏠린다. 0 근처 칸의 비율이 곧 검정력이다. ③ "엿보기"로 바꾸고 δ = 0, 최대 n = 100에서 1000번: 10개부터 하나씩 더하며 매번 검정해 $p < 0.05$가 나오는 순간 멈춘다. $H_0$가 참인데도 "유의"가 20% 넘게 나온다.

마지막 실험이 보여 주듯, 자료를 보면서 표본을 늘리거나, 이상값을 골라 빼거나, 여러 분석 가운데 p 값이 작은 것만 보고하면 실제 제1종 오류 확률이 $\alpha$보다 훨씬 커진다. 이런 관행을 p 해킹(p-hacking)이라 한다. 표본 크기, 분석 방법, 제외 기준은 자료를 보기 전에 정해 둔다.

p 값에 대한 가장 흔한 오해는 "p = 0.03이면 $H_0$가 참일 확률이 3%"라는 생각이다. p 값은 $P(\text{자료}\mid H_0)$ 쪽이고, 알고 싶은 $P(H_0\mid\text{자료})$는 3장의 베이즈 정리처럼 사전 확률에 달려 있다. 아래 실험에서 확인하자.

진짜 효과가 있는 비율 π 검정력 1 − β

MINI LAB개선 아이디어 1000개를 각각 α = 0.05로 검정한다. 칸 하나가 아이디어 하나다. 초록은 진짜 효과를 잡은 것, 빨강은 효과가 없는데 "유의"가 나온 거짓 경보, 노랑은 놓친 효과다. 진짜 효과가 10%뿐이면, 유의하게 나온 결과 가운데 약 36%가 거짓 경보다. p < 0.05가 "틀릴 확률 5%"를 뜻하지 않는다.

p 값의 흔한 오해

① p 값은 $H_0$가 참일 확률이 아니다. ② $1 - p$는 $H_1$이 참일 확률이 아니다. ③ p 값은 효과의 크기가 아니다. 표본이 크면 아주 작은 효과도 p 값이 작다(4절). ④ $p > 0.05$는 "효과 없음"의 증거가 아니다. ⑤ p = 0.049와 p = 0.051은 증거의 세기가 사실상 같다. 결론은 p 값 하나가 아니라 효과 크기와 신뢰 구간을 함께 보고 내린다.

제1종·제2종 오류와 검정력

검정의 결정은 "기각" 또는 "기각 못함" 둘이고, 실제 상태도 "$H_0$ 참" 또는 "$H_1$ 참" 둘이므로 경우는 넷이다. 그중 둘이 오류다.

결정의 네 경우. 각 열의 확률을 더하면 1이다. $\alpha$는 $H_0$가 참인 세계에서, $\beta$는 $H_1$이 참인 세계에서의 확률이므로 $\alpha + \beta = 1$일 이유는 없다.

제1종 오류(type I error)는 참인 $H_0$를 기각하는 오류로, 확률은 우리가 정한 $\alpha$다. 제2종 오류(type II error)는 거짓인 $H_0$를 기각하지 못하는 오류로, 확률 $\beta$는 참값이 $H_0$에서 얼마나 떨어져 있는지에 달려 있다. 거짓인 $H_0$를 올바르게 기각할 확률 $1 - \beta$를 검정력(power)이라 한다.

장 머리 그림이 이 관계를 보여 준다. 참 평균이 $\mu_1$일 때, 우측 z 검정의 기각역은 $\bar X > \mu_0 + z_\alpha\sigma/\sqrt n$이고 그 경계보다 왼쪽에 떨어질 확률이 $\beta$다.

$$\beta(\mu_1) = \Phi\!\left(z_\alpha - \frac{(\mu_1 - \mu_0)\sqrt n}{\sigma}\right),\qquad 1 - \beta(\mu_1) = 1 - \Phi\!\left(z_\alpha - \frac{\delta\sqrt n}{\sigma}\right),\quad \delta = \mu_1 - \mu_0$$

양측이면 $1 - \beta = 1 - \Phi(z_{\alpha/2} - \delta\sqrt n/\sigma) + \Phi(-z_{\alpha/2} - \delta\sqrt n/\sigma)$이다. 검정력은 $\delta\sqrt n/\sigma$ 하나로 정해진다. 효과 $\delta$가 클수록, 표본 $n$이 클수록, 산포 $\sigma$가 작을수록, $\alpha$가 클수록 커진다. 막두께 예($\mu_0 = 100$, $\sigma = 1.2$, $n = 9$)에서 참 평균이 101이면 $\delta\sqrt n/\sigma = 2.5$이고 우측 검정의 검정력은 $1 - \Phi(1.645 - 2.5) = 0.804$다.

참값 $\mu_1$을 바꿔 가며 검정력을 그린 곡선을 검정력 함수(power function)라 한다. $\mu_1 = \mu_0$에서는 높이가 $\alpha$이고, $\mu_0$에서 멀어질수록 1로 올라간다. $1 - \text{검정력}$을 그리면 16장 합격 판정 샘플링에서 다시 만날 OC 곡선이 된다. 효과를 산포 단위로 잰 $d = \delta/\sigma$를 효과 크기(effect size)라 한다.

SIMULATOR

검정력 곡선 탐색기

표본 크기 n 공정 산포 σ

유의 수준 α

대립가설

참 차이 δ—

검정력 1 − β—

β—

과제—

조작: 곡선 위 흰 원을 좌우로 끈다. 단일 표본 t 검정($H_0: \mu = \mu_0$)의 검정력을 참 차이 $\delta$(nm)에 대해 그렸다(비중심 t 분포로 정확히 계산). 흐린 점선은 $n/2$와 $2n$일 때다. 해볼 것: ① $\delta = 0$에서 곡선 높이가 정확히 $\alpha$인지 보자. ② $n$을 4배로 늘리면 같은 검정력에 필요한 $\delta$가 절반이 된다($\sqrt n$ 법칙). ③ 우측 검정은 오른쪽 검정력이 더 높지만 왼쪽($\delta < 0$)은 거의 0이다. ④ 과제: "과제 받기"로 목표 $\delta$와 $\sigma$를 받고, 검정력 0.8 이상이 되는 가장 작은 $n$을 골라 제출하자. 웨이퍼 한 장이 돈이다.

검정력 공식을 $n$에 대해 풀면 실험을 시작하기 전에 표본 크기를 정할 수 있다. 양측 검정에서 다른 쪽 꼬리를 무시하면

$$n = \left(\frac{(z_{\alpha/2} + z_\beta)\,\sigma}{\delta}\right)^2\quad(\text{단일 표본}\cdot\text{대응}),\qquad n_{\text{각 군}} = 2\left(\frac{(z_{\alpha/2} + z_\beta)\,\sigma}{\delta}\right)^2\quad(\text{두 표본})$$

단측 검정이면 $z_{\alpha/2}$ 대신 $z_\alpha$를 쓴다. 정규 근사이므로 t 검정에서는 한두 개 더 필요하다. 두 표본은 차이의 분산이 두 배라 각 군에 두 배가 든다.

평균이 0.50만큼 바뀐 것을, 산포 $\sigma$ = 1.0인 공정에서 양측 $\alpha$ = 0.05, 검정력 0.80으로 잡으려면 $z_{\alpha/2}$ = , $z_\beta$ = 이므로 단일 표본에서 $n$ = , 두 표본이면 각 군 이 필요하다(효과 크기 $d$ = ).

증착 장비의 히터를 교체했다. 평균 막두께가 0.5 nm 이상 바뀌었다면 알아내고 싶다. 사이트 평균의 웨이퍼 간 표준 편차는 $\sigma = 1.0$ nm다. 교체 뒤 웨이퍼를 재어 목표값과 비교하는 양측 검정($\alpha = 0.05$)으로 검정력 0.80을 얻으려면 몇 장이 필요한가? 교체 전 웨이퍼 $n$장과 교체 뒤 $n$장을 비교한다면 어떤가?

풀이 보기

전략 표본 크기 공식에 $z_{0.025} = 1.960$, $z_{0.20} = 0.8416$을 넣는다.

풀이 단일 표본: $n = [(1.960 + 0.8416)(1.0)/0.5]^2 = (5.603)^2 = 31.4$ → 32장. t 검정의 정확한 검정력(비중심 t)으로 다시 계산하면 32장에서 0.782, 34장에서 0.808이므로 34장이 필요하다. 두 표본: 각 군 $2 \times 31.4 = 62.8$ → 63장(t 검정 정확값 64장).

단일 표본 약 32장(t 검정 정확값 34장), 전후 두 표본 비교는 각 63–64장

검토 효과 크기 $d = 0.5$는 "중간" 크기인데도 웨이퍼가 꽤 든다. 효과를 절반(0.25 nm)으로 잡으면 $n$은 네 배가 된다. 같은 웨이퍼를 전후에 모두 잴 수 있다면 6절의 대응 설계가 훨씬 싸다.

표본이 아주 크면 반대 문제가 생긴다. 검정력이 너무 커서 실무적으로 아무 의미 없는 차이도 "유의"하게 나온다.

각 군 측정 수 n

MINI LAB변경 전후 막두께의 참 차이가 0.1 nm(사이트 산포 $\sigma = 2$ nm, 효과 크기 $d = 0.05$)뿐인 공정이다. 계측 자동화로 사이트 측정값이 수만 개씩 쌓이면 p 값은 0에 붙지만, 차이의 95% 신뢰 구간은 실무적으로 의미 있는 ±0.5 nm(초록 띠) 안에 완전히 들어간다. "통계적으로 유의"와 "공정에 중요"는 다른 말이다.

이제 판단을 직접 해 보자. 기존 레시피(POR)와 새 레시피로 웨이퍼를 나누어 흘린 자료가 주어진다. 절반의 라운드에서는 새 레시피가 실제로 저항을 낮추고, 나머지 절반에서는 아무 효과가 없다. 눈으로 판단한 결과와 t 검정의 판단을 나란히 기록한다.

SIMULATOR

게임: 새 레시피가 더 나은가?

각 레시피 웨이퍼 수

라운드—

내 정답률—

내 오류 (1종 / 2종)—

t 검정 α = 0.05 (1종 / 2종)—

접촉 저항은 낮을수록 좋다. 웨이퍼 간 산포 $\sigma = 6\ \Omega$, 효과가 있는 라운드의 개선 폭은 6 Ω($d = 1$)이다. 판정한 뒤에 정답, 웰치 t 검정(좌측)의 p 값, 그리고 누적 오류가 나온다. 해볼 것: ① 10라운드 이상 해서 내 제1종 오류가 t 검정보다 많은지 보자. 사람 눈은 우연한 차이에 "개선"을 너무 쉽게 본다. ② 웨이퍼 수를 4장으로 줄이면 t 검정조차 제2종 오류가 크게 는다. 16장이면 둘 다 거의 맞힌다.

스플릿 로트의 검정력부터 계산한다 공정 변경을 검증하는 분할 로트 실험에서 가장 흔한 실패는 웨이퍼 몇 장으로 "차이 없음"을 결론 내리는 것이다. 수율 차 1%p를 잡으려면 다이가 수천 개 필요하고, 웨이퍼 간 상관 때문에 실질 표본 수는 다이 수보다 훨씬 작다. 실험 전에 잡고 싶은 효과 크기와 검정력으로 웨이퍼 수를 정해 두면, 나중에 "유의하지 않음"을 "효과 없음"으로 읽는 실수를 막는다. → YieldBook · 공통성 분석과 근본 원인(확인 실험: 분할 로트와 검정력)

단일 표본과 두 표본 t 검정

실제로 $\sigma$를 아는 경우는 드물다. $\sigma$ 대신 표본 표준 편차 $S$를 쓰면, 8장에서 본 대로 통계량은 정규 분포가 아니라 t 분포를 따른다. 모집단이 정규 분포라는 가정 아래

$$T = \frac{\bar X - \mu_0}{S/\sqrt n}\ \sim\ t_{n-1}\quad (H_0:\ \mu = \mu_0)$$

기각역은 z 검정과 같은 꼴로, $z_{\alpha/2}$ 대신 $t_{\alpha/2, n-1}$을 쓴다. t 분포는 꼬리가 두꺼워서 임계값이 더 바깥에 있다($n = 8$이면 $t_{0.025, 7} = 2.365$). $n$이 30을 넘으면 $z$와 거의 같다. 정규성에서 조금 벗어나도 꽤 잘 맞지만, 표본이 작고 치우침이 심하면 12장의 순위 검정을 쓴다.

게이트 CD 목표는 45.0 nm다. 노광 장비 교정 뒤 측정한 CD 8개가 45.6, 44.9, 45.8, 46.1, 45.3, 45.9, 44.8, 45.7 nm였다. 유의 수준 0.05로 평균 CD가 목표와 다른지 검정하고, 95% 신뢰 구간과 비교하라.

풀이 보기

전략 $\sigma$를 모르고 $n = 8$로 작으므로 단일 표본 t 검정, 양측.

풀이 $\bar x = 45.5125$, $s = 0.4704$, 표준 오차 $s/\sqrt 8 = 0.1663$. $t = 0.5125/0.1663 = 3.08$, 자유도 7. $t_{0.025, 7} = 2.365$이므로 기각. p 값은 $2P(T_7 > 3.08) = 0.0178$. 95% 신뢰 구간은 $45.5125 \pm 2.365(0.1663) = [45.12,\ 45.91]$ nm.

t = 3.08 (df 7), p = 0.018 → H₀ 기각. 95% 구간 [45.12, 45.91] nm는 45.0을 포함하지 않는다

검토 신뢰 구간이 45.0을 포함하지 않는다는 것과 α = 0.05 양측 검정에서 기각한다는 것은 같은 말이다. 구간은 덤으로 "평균이 0.12–0.91 nm 크다"는 크기 정보까지 준다.

이 예의 마지막 관찰은 일반적인 사실이다. 신뢰 수준 $1 - \alpha$의 양측 신뢰 구간은 "유의 수준 $\alpha$의 양측 검정에서 기각되지 않는 $\mu_0$들의 모임"이다. 이를 신뢰 구간과 검정의 쌍대성(duality)이라 한다(10장 구간 추정).

신뢰 수준 1 − α

MINI LAB조작: 기준값 μ₀(흰 원)를 끈다. 위 CD 자료 8개($\bar x = 45.51$, $s = 0.47$)로 만든 신뢰 구간과 기준값 $\mu_0$. $\mu_0$를 구간 안으로 끌면 p 값이 $\alpha$보다 커지고(기각 못함), 구간 끝을 넘는 순간 정확히 $p = \alpha$를 지나 기각으로 바뀐다.

두 표본 t 검정

공정 변경 평가는 대개 두 모집단의 평균을 비교한다. 독립인 두 표본(기존 $n_1$장, 새 레시피 $n_2$장)으로 $H_0: \mu_1 = \mu_2$를 검정한다. 두 모분산이 같다고 볼 수 있으면 두 표본 분산을 자유도로 가중 평균한 합동 분산(pooled variance)을 쓴다.

$$S_p^2 = \frac{(n_1 - 1)S_1^2 + (n_2 - 1)S_2^2}{n_1 + n_2 - 2},\qquad T = \frac{\bar X_1 - \bar X_2}{S_p\sqrt{1/n_1 + 1/n_2}}\ \sim\ t_{n_1 + n_2 - 2}$$

분산이 같다는 가정이 없으면 웰치 t 검정(Welch's t-test)을 쓴다. 통계량의 분모를 각자의 분산으로 만들고, 자유도는 웰치–새터스웨이트 근사로 구한다.

$$T = \frac{\bar X_1 - \bar X_2}{\sqrt{S_1^2/n_1 + S_2^2/n_2}},\qquad \nu = \frac{\left(S_1^2/n_1 + S_2^2/n_2\right)^2}{\dfrac{(S_1^2/n_1)^2}{n_1 - 1} + \dfrac{(S_2^2/n_2)^2}{n_2 - 1}}$$

$\nu$는 보통 정수가 아니고, $\min(n_1, n_2) - 1$과 $n_1 + n_2 - 2$ 사이에 있다. 분산이 실제로 같으면 웰치는 합동 t와 거의 같은 결과를 내고, 다르면 합동 t보다 훨씬 안전하다. 그래서 요즘 통계 소프트웨어는 웰치를 기본으로 쓴다. 두 군의 크기가 같으면 두 통계량의 값은 같고 자유도만 다르다.

SIMULATOR

스플릿 로트 비교: 웰치와 합동 t

각 레시피 웨이퍼 수 n 기존(POR) 산포 σ₁ 새 레시피 산포 σ₂

검정

평균 차 x̄₂ − x̄₁—

t (자유도)—

p 값 (양측)—

차이의 95% 신뢰 구간—

조작: 새 레시피 평균(흰 마름모)을 좌우로 끈다. 한 로트 웨이퍼를 둘로 나누어 기존 레시피(회색)와 새 레시피(초록)로 흘린 접촉 저항(Ω)이다. 아래는 $H_0$ 아래의 t 분포와 관측 $t$(초록 넓이가 p 값), 그리고 차이의 신뢰 구간이다. 해볼 것: ① 마름모를 끌어 평균 차를 0에서 −8 Ω까지 옮기며, 신뢰 구간이 0을 벗어나는 순간과 p가 0.05를 지나는 순간이 같은지 보자. ② σ₂를 12, $n$을 5로 두고 웰치와 합동을 번갈아 눌러 보자. 크기가 같은 두 군이라 $t$는 같지만 자유도가 줄어 웰치의 p 값이 커진다. ③ "새 로트 뽑기"를 여러 번 눌러, 참 차이가 같아도 p 값이 로트마다 크게 흔들리는 것을 보자.

한 로트를 나누어 기존 레시피로 10장, 새 레시피로 10장을 흘렸다. 접촉 저항은 기존 $\bar x_1 = 152.4\ \Omega$, $s_1 = 6.1$, 새 레시피 $\bar x_2 = 146.8\ \Omega$, $s_2 = 4.2$였다. 유의 수준 0.05로 두 평균이 다른지 웰치 t 검정으로 판단하고, 차이의 95% 신뢰 구간을 구하라. 합동 t 검정과도 비교하라.

풀이 보기

전략 산포가 달라 보이므로 웰치. $a = s_1^2/n_1$, $b = s_2^2/n_2$를 먼저 계산한다.

풀이 $a = 37.21/10 = 3.721$, $b = 17.64/10 = 1.764$, 표준 오차 $\sqrt{5.485} = 2.342$. $t = 5.6/2.342 = 2.39$. $\nu = 5.485^2/(3.721^2/9 + 1.764^2/9) = 30.09/1.884 = 15.97$. $t_{0.025, 15.97} \approx 2.120$이므로 기각, p = 0.029. 95% 구간: $5.6 \pm 2.120(2.342) = [0.63,\ 10.57]\ \Omega$. 합동: $s_p = \sqrt{(9 \cdot 37.21 + 9 \cdot 17.64)/18} = 5.237$, 표준 오차 $5.237\sqrt{0.2} = 2.342$, $t = 2.39$, 자유도 18, p = 0.028.

웰치 t = 2.39, ν = 16.0, p = 0.029 → 평균이 다르다. 저항 감소 폭의 95% 구간 [0.6, 10.6] Ω (합동 t: p = 0.028)

검토 군의 크기가 같아 두 $t$가 같고 자유도만 다르다. 구간의 아래 끝이 0.6 Ω이므로, 감소 폭이 최소 몇 Ω은 되어야 한다는 실무 기준이 있다면 이 자료로는 아직 확신할 수 없다.

검정 고르기. 가장 중요한 갈림길은 "두 자료가 같은 단위(웨이퍼, 칩, 사이트)에서 나왔는가"다. 같은 웨이퍼를 두 번 쟀다면 독립 두 표본이 아니다.

PCN 자료는 두 표본 비교의 묶음이다 공정 변경 통지(PCN)나 장비 신규 투입 자격 평가(qualification)에서는 변경 전후 스플릿 로트로 막두께, CD, 전기 특성, 수율, 신뢰성 지표 수십 개를 비교한다. 지표마다 웰치 t 검정의 p 값보다 차이의 신뢰 구간을 "허용 차이" 범위와 함께 보이는 편이 고객과 품질 부서를 설득하기 쉽다. 지표가 많을수록 9절의 다중 비교 문제도 함께 따라온다. → YieldBook · 수율 학습과 경제성(베이스라인 개선과 이상 발생 제어)

대응 t 검정

같은 웨이퍼를 두 장비로 재거나, 같은 칩을 번인 전후로 측정하면 두 값은 독립이 아니다. 웨이퍼마다 원래 두께가 다르다는 사실이 두 측정에 똑같이 들어가 있기 때문이다. 이런 자료는 짝마다 차이 $D_i = X_i - Y_i$를 만들어, 차이의 평균이 0인지 단일 표본 t 검정으로 본다. 이것이 대응 t 검정(paired t-test)이다.

$$T = \frac{\bar D - \Delta_0}{S_D/\sqrt n}\ \sim\ t_{n-1},\qquad \operatorname{Var}(D) = \sigma_X^2 + \sigma_Y^2 - 2\operatorname{Cov}(X, Y)$$

$n$은 짝의 수, $S_D$는 차이들의 표본 표준 편차, $\Delta_0$는 보통 0이다. 웨이퍼 간 산포가 크면 공분산도 커서 $\operatorname{Var}(D)$가 $\sigma_X^2 + \sigma_Y^2$보다 훨씬 작아진다. 짝을 지으면 웨이퍼 간 산포가 빼기에서 사라진다.

웨이퍼 8장의 평균 두께를 장비 A와 B로 쟀다. 두 열의 평균 차는 0.46 nm인데, 웨이퍼마다 두께가 97–103 nm로 흩어져 차이가 묻힌다.
같은 웨이퍼끼리 선으로 이으면 8개 선이 모두 아래로 기운다. 장비 B가 언제나 조금 낮게 읽는다.
짝마다 차이만 모으면 0.2–0.7 nm에 촘촘히 모인다. 웨이퍼 간 산포(약 1.9 nm)가 빼기에서 사라졌다.
차이로 검정하면 $t = 6.33$으로 압도적이다. 같은 자료를 독립 두 표본으로 잘못 분석하면 $t = 0.50$으로 아무것도 보이지 않는다.

대응 설계의 힘. 장비 매칭에서 "같은 웨이퍼를 두 장비에 돌려 재는" 이유가 여기에 있다.

웨이퍼 간 산포가 측정 잡음보다 열 배 크다. 같은 웨이퍼 10장을 두 장비로 재는 대응 설계는, 장비마다 다른 웨이퍼 10장을 쓰는 독립 설계와 비교해 검정력이 어떨까?

대응 설계는 자유도가 $2n - 2$에서 $n - 1$로 줄어드는 대가를 치르지만, 분산에서 웨이퍼 간 산포가 통째로 빠진다. 웨이퍼 간 산포가 클수록 이득이 압도적이다. 반대로 짝이 실제로 상관이 없다면 자유도만 잃는다.

SIMULATOR

대응 설계 대 독립 분석

웨이퍼 간 산포 σ_w 측정 잡음 σ_e 웨이퍼 수 n

실험 반복

실험 횟수—

이번 실험 p (대응 / 독립)—

기각 비율: 대응—

기각 비율: 독립 분석—

조작: 차이 그림의 자주 선 끝(흰 원)을 위아래로 끌어 참 차이 δ를 바꾼다. 웨이퍼 $i$의 참 두께 $w_i \sim N(100, \sigma_w^2)$를 장비 A는 $w_i + e$, 장비 B는 $w_i - \delta + e'$로 읽는다. 매 실험마다 같은 자료를 대응 t와 (잘못된) 독립 웰치 t로 모두 검정해 기각 비율을 쌓는다. 막대 위 자주 눈금은 대응 설계의 이론 검정력과, 장비마다 다른 웨이퍼를 쓰는 독립 설계의 이론 검정력이다. 해볼 것: ① 기본값에서 1000번: 대응은 거의 늘 기각, 독립 분석은 거의 못 한다. ② $\sigma_w$를 0으로 내리면 둘의 차이가 사라지고 대응 쪽이 자유도만큼 조금 손해다. ③ $\delta$를 0으로 끌어 두 방법 모두 기각 비율이 $\alpha$ 이하인지 보자.

새로 들인 엘립소미터 B를 기존 장비 A와 매칭하려고 웨이퍼 8장을 두 장비로 쟀다(nm). A: 101.8, 98.4, 103.1, 99.7, 100.9, 97.6, 102.4, 100.2. B: 101.3, 98.1, 102.4, 99.5, 100.2, 97.4, 101.9, 99.6. 두 장비의 읽음에 계통적 차이가 있는지 α = 0.05로 검정하라. 독립 두 표본으로 분석하면 어떻게 되는가?

풀이 보기

전략 같은 웨이퍼를 두 번 쟀으므로 대응 t 검정, 양측.

풀이 차이 $d_i = A - B$: 0.5, 0.3, 0.7, 0.2, 0.7, 0.2, 0.5, 0.6. $\bar d = 0.4625$, $s_d = 0.2066$. $t = 0.4625/(0.2066/\sqrt 8) = 6.33$, 자유도 7, $t_{0.025,7} = 2.365$. p = 0.0004로 기각. 차이의 95% 구간은 $0.4625 \pm 2.365(0.0730) = [0.29,\ 0.63]$ nm. 독립으로 보면 $s_A = 1.92$, $s_B = 1.77$, $t = 0.50$, p = 0.62.

대응 t = 6.33 (df 7), p = 0.0004 → 장비 B가 0.29–0.63 nm 낮게 읽는다. 독립 분석은 t = 0.50, p = 0.62로 차이를 놓친다

검토 독립 분석은 자료를 잘못 쓴 것이다. 두 열이 같은 웨이퍼라는 정보를 버려서 웨이퍼 간 산포 1.9 nm가 0.46 nm 차이를 덮었다. 매칭 보정(오프셋 약 0.46 nm)을 넣은 뒤에는 다시 대응 검정으로 차이가 사라졌는지 확인한다.

테스터 매칭과 사이트 간 상관 양산 테스트에서 새 테스터나 프로브 카드를 투입할 때는 같은 칩 수십 개를 기존 테스터와 새 테스터에서 모두 측정해 차이의 평균(오프셋)과 산포를 본다. 칩마다 특성이 크게 달라도 짝 비교는 그 산포를 지우므로, 독립 비교로는 보이지 않는 수 mV 오프셋까지 잡아낸다. 멀티 사이트 테스트의 사이트 간 차이도 같은 칩을 사이트를 바꿔 재는 대응 설계로 확인한다. → TestBook · 셔무, 특성 평가와 가드밴드(사이트 간·테스터 간 상관)

비율 검정

수율, 불량률, 빈(bin) 비율처럼 "몇 개 중 몇 개"인 자료는 이항 분포를 따른다. 모비율 $p$에 대한 $H_0: p = p_0$는 표본 비율 $\hat p = X/n$으로 검정한다. $n$이 충분히 크면 7장의 정규 근사로

$$Z = \frac{\hat p - p_0}{\sqrt{p_0(1 - p_0)/n}}\ \approx\ N(0, 1)\qquad (np_0 \ge 10,\ n(1 - p_0) \ge 10\ \text{정도일 때})$$

분모에는 $\hat p$가 아니라 $p_0$를 쓴다. 검정은 $H_0$가 참이라는 가정 아래 통계량의 분포를 계산하기 때문이다(신뢰 구간은 $\hat p$를 쓴다).

불량이 드물어 $np_0$가 작으면 정규 근사가 크게 틀린다. 이때는 이항 분포로 p 값을 직접 더하는 정확 이항 검정(exact binomial test)을 쓴다. 예컨대 우측 검정이면 $p = P(X \ge x) = \sum_{k \ge x}\binom{n}{k}p_0^k(1 - p_0)^{n-k}$이다.

표본 n 기준 불량률 p₀

MINI LAB조작: 빨간 표시(관측 불량 수 x)를 좌우로 끈다. $H_0: p = p_0$, $H_1: p > p_0$(불량률이 늘었다). 막대는 $H_0$ 아래의 $\mathrm{Bin}(n, p_0)$, 빨간 막대의 합이 정확한 p 값이고 자주 곡선은 정규 근사다. 기본값($n = 30$, $p_0 = 0.05$, $x = 4$)에서 정확한 p 값은 0.061인데 정규 근사는 0.018로, 결론까지 뒤집힌다. $n$을 200으로 키우면 두 값이 가까워진다.

두 공정의 수율을 비교할 때는 $H_0: p_1 = p_2$를 검정한다. $H_0$ 아래에서는 두 비율이 같으므로, 공통 비율을 두 표본을 합쳐 추정한 합동 비율 $\hat p = (x_1 + x_2)/(n_1 + n_2)$로 표준 오차를 만든다.

$$Z = \frac{\hat p_1 - \hat p_2}{\sqrt{\hat p(1 - \hat p)\left(\dfrac{1}{n_1} + \dfrac{1}{n_2}\right)}}\ \approx\ N(0, 1)$$

차이의 신뢰 구간은 합동하지 않은 표준 오차 $\sqrt{\hat p_1(1-\hat p_1)/n_1 + \hat p_2(1-\hat p_2)/n_2}$로 만든다. 2×2 분할표로 보면 이 검정은 12장의 카이제곱 독립성 검정과 같고($Z^2 = \chi^2$), 칸의 기대 도수가 작으면 피셔 정확 검정을 쓴다.

변경 전 다이 2000개 중 양품 1840개, 변경 뒤 2000개 중 1885개. 수율은 → , 합동 비율 , $z$ = , 양측 p 값 . 수율 차이의 95% 신뢰 구간은 이다.

SIMULATOR

수율 개선 2%p를 잡을 수 있을까

각 군 다이 수 n

실험 반복

실험 횟수—

기각 비율 (모의 검정력)—

이론 검정력—

검정력 0.8에 필요한 n—

조작: 위 막대 꼭대기(흰 원)를 끌어 참 수율을 정한다. 한 실험은 변경 전후 각 $n$개 다이의 양품 수를 $\mathrm{Bin}(n, p_1)$, $\mathrm{Bin}(n, p_2)$에서 뽑아 양측 두 비율 z 검정(α = 0.05)을 한다. 아래에 관측 차이 $\hat p_2 - \hat p_1$이 쌓이고, 빨간 영역은 $H_0$ 아래의 기각역이다. 해볼 것: ① 기본값(92% → 94%, 각 2000개)에서 1000번: 검정력은 약 0.70이다. ② 두 막대를 같은 높이로 맞추면 기각 비율이 5%로 떨어진다. ③ 수율이 99%대처럼 1에 가까우면 같은 2%p 차이도 훨씬 적은 다이로 잡힌다. 비율의 분산 $p(1-p)$가 작기 때문이다. 단, 실제 웨이퍼의 다이는 독립이 아니어서(결함 군집) 필요한 다이 수가 이보다 많다.

세정 공정을 바꾸기 전 다이 2000개 중 1840개가 양품, 바꾼 뒤 2000개 중 1885개가 양품이었다. 유의 수준 0.05로 수율이 달라졌는지 검정하고, 수율 차이의 95% 신뢰 구간을 구하라.

풀이 보기

전략 두 비율 z 검정. 검정에는 합동 비율, 구간에는 합동하지 않은 표준 오차를 쓴다.

풀이 $\hat p_1 = 0.9200$, $\hat p_2 = 0.9425$, $\hat p = 3725/4000 = 0.93125$. 표준 오차 $\sqrt{0.93125(0.06875)(2/2000)} = 0.008001$. $z = 0.0225/0.008001 = 2.81$, 양측 p = 0.0049로 기각. 구간: $0.0225 \pm 1.96\sqrt{0.92(0.08)/2000 + 0.9425(0.0575)/2000} = 0.0225 \pm 1.96(0.00800) = [0.0068,\ 0.0382]$.

z = 2.81, p = 0.0049 → 수율이 달라졌다. 개선 폭의 95% 구간 [0.7%p, 3.8%p]

검토 $n\hat p$와 $n(1-\hat p)$가 모두 100이 넘어 정규 근사가 충분하다. 다만 다이 2000개가 웨이퍼 몇 장에서 나왔다면 다이들이 독립이 아니어서 실제 불확실성은 이보다 크다. 웨이퍼 단위 수율로 t 검정을 하는 편이 보수적이다.

분산의 검정: 카이제곱과 F

반도체 공정에서는 평균만큼 산포가 중요하다. 막두께 균일도, CD 산포, 장비 간 산포 차이가 모두 분산에 대한 질문이다. 정규 모집단이면 8장의 결과 $(n-1)S^2/\sigma^2 \sim \chi^2_{n-1}$로 $H_0: \sigma^2 = \sigma_0^2$를 검정한다.

$$X^2 = \frac{(n - 1)S^2}{\sigma_0^2}\ \sim\ \chi^2_{n-1}\qquad H_1: \sigma > \sigma_0\ \text{이면}\ X^2 > \chi^2_{\alpha, n-1}\ \text{에서 기각}$$

카이제곱 분포는 비대칭이므로 양측 검정은 $X^2 < \chi^2_{1-\alpha/2, n-1}$ 또는 $X^2 > \chi^2_{\alpha/2, n-1}$에서 기각한다. 산포는 커지는 쪽이 문제이므로 실무에서는 우측 검정이 많다.

측정 수 n 규격 σ₀

MINI LAB조작: 초록 표시(관측 χ²)를 좌우로 끈다. $H_1: \sigma > \sigma_0$의 우측 검정. 자주 곡선은 $\chi^2_{n-1}$, 빨간 영역은 α = 0.05 기각역, 초록은 p 값이다. 관측 $X^2$를 끌면 그에 해당하는 표본 표준 편차 $s = \sigma_0\sqrt{X^2/(n-1)}$이 함께 나온다. $n = 15$에서 $s$가 규격보다 27% 커도($s = 1.9$) 아직 기각역에 닿지 않는다. 산포의 추정은 평균보다 훨씬 불확실하다.

두 장비나 두 레시피의 산포를 비교할 때는 두 표본 분산의 비를 쓴다. 두 모집단이 정규이고 독립이면 8장의 F 분포가 나온다.

$$F = \frac{S_1^2}{S_2^2}\ \sim\ F_{n_1 - 1,\ n_2 - 1}\quad (H_0:\ \sigma_1^2 = \sigma_2^2)$$

$H_1: \sigma_1 > \sigma_2$이면 $F > F_{\alpha, n_1-1, n_2-1}$에서 기각한다. 양측이면 아래쪽 임계값 $F_{1-\alpha/2, \nu_1, \nu_2} = 1/F_{\alpha/2, \nu_2, \nu_1}$도 쓴다. 큰 분산을 분자에 두면 위쪽 꼬리만 보면 된다.

SIMULATOR

두 장비의 균일도 비교 (F 검정)

각 장비 웨이퍼 수 n

검정 반복

이번 F = s²_A/s²_B—

p 값 (우측)—

기각 비율—

이론 검정력—

조작: 장비 A의 산포 막대 끝(흰 원)을 끌어 σ_A를 바꾼다. 장비 B의 참 산포는 1.0 nm로 고정, 장비 A는 위 그림에서 끌어 정한다. 검정은 $H_1: \sigma_A > \sigma_B$, α = 0.05. 아래에 F 값이 쌓이고 자주 곡선은 $H_0$ 아래의 $F_{n-1, n-1}$이다. 해볼 것: ① $\sigma_A = 1.0$으로 맞추고 1000번: 기각 비율이 5% 근처다. ② $\sigma_A = 1.5$(산포 50% 증가)에서 웨이퍼 13장이면 검정력이 약 0.38에 불과하다. ③ 검정력 0.8을 얻으려면 $n$을 얼마로 늘려야 하는지 찾아보자. 산포 비교는 평균 비교보다 표본이 훨씬 많이 든다.

막두께 웨이퍼 내 산포의 규격은 $\sigma_0 = 1.5$ nm 이하다. 한 웨이퍼의 15개 사이트에서 $s = 1.9$ nm를 얻었다. 유의 수준 0.05로 산포가 규격보다 크다고 할 수 있는가?

풀이 보기

전략 $H_0: \sigma = 1.5$, $H_1: \sigma > 1.5$, 우측 카이제곱 검정.

풀이 $X^2 = 14(1.9^2)/1.5^2 = 14(3.61)/2.25 = 22.46$. 임계값 $\chi^2_{0.05, 14} = 23.68$보다 작으므로 기각하지 못한다. p 값은 $P(\chi^2_{14} > 22.46) = 0.070$.

X² = 22.5 (df 14), p = 0.070 → α = 0.05에서 산포가 규격을 넘었다고 할 수 없다

검토 $s$가 규격보다 27% 크지만 15개로는 증거가 모자란다. 이 결론은 "규격을 지킨다"는 뜻이 아니다. 사이트 수를 늘리거나 여러 웨이퍼를 모아 다시 본다. 사이트들이 웨이퍼 안에서 독립이 아닐 수 있다는 점(방사형 무늬)도 함께 확인한다.

새 증착 장비 A와 기존 장비 B에서 각각 웨이퍼 13장의 평균 두께를 얻었다. 표준 편차는 $s_A = 1.9$ nm, $s_B = 1.1$ nm다. 유의 수준 0.05로 장비 A의 웨이퍼 간 산포가 더 크다고 할 수 있는가?

풀이 보기

전략 $H_1: \sigma_A > \sigma_B$, 큰 분산을 분자에 둔 우측 F 검정.

풀이 $F = 1.9^2/1.1^2 = 3.61/1.21 = 2.98$, 자유도 (12, 12). $F_{0.05, 12, 12} = 2.69$보다 크므로 기각. p 값 $= P(F_{12,12} > 2.98) = 0.035$.

F = 2.98, p = 0.035 → 장비 A의 산포가 더 크다

검토 같은 자료를 양측 검정하면 p = 0.070으로 기각하지 못한다. "A가 더 나쁜가"를 미리 정한 질문이었기에 단측이 정당하다. F 검정은 정규성이 깨지면 크게 틀리므로, 꼬리가 두꺼운 자료에서는 레빈(Levene) 검정 같은 강건한 방법을 함께 본다.

균일도 사양과 장비 매칭은 분산의 문제다 막두께나 CD의 웨이퍼 내 균일도, 웨이퍼 간 산포, 챔버 간 매칭 기준은 평균이 아니라 분산으로 걸린다. 산포 비교는 평균 비교보다 표본이 훨씬 많이 필요하고 이상값 하나에 크게 흔들리므로, 계측 사이트 수와 웨이퍼 수를 넉넉히 잡고 관리도로 꾸준히 감시하는 편이 한 번의 F 검정보다 믿을 만하다. → ProcessBook · 계측·결함·수율(SPC: 숫자로 공정을 지키기)

다중 비교와 본페로니 보정

수율이 떨어진 로트들이 어느 장비를 거쳤는지 공정 단계 수백 개를 하나씩 검정한다고 하자. 검정 하나의 제1종 오류는 5%로 묶었지만, 검정을 많이 하면 어딘가에서 거짓 경보가 날 확률은 빠르게 커진다. 먼저 예측해 보자.

수율과 아무 관계가 없는 설비 변수 20개를 각각 α = 0.05로 검정한다. 적어도 하나가 "유의"하게 나올 확률은?

검정이 독립이면 하나도 틀리지 않을 확률이 $0.95^{20} = 0.358$이므로, 적어도 하나 거짓 경보가 날 확률은 $1 - 0.358 = 0.642$다. 20개를 보면 "유의한" 변수 하나쯤은 거의 늘 나온다.

SIMULATOR

설비 변수 20개 동시 검정

보정

진짜 원인 변수 수

조사 반복

조사 횟수—

거짓 경보 ≥ 1개 비율 (FWER)—

이론 FWER—

진짜 원인 검출률—

칸 하나가 설비 변수 하나이고 숫자는 그 p 값이다. 조사 한 번은 변수마다 양호 로트 10개와 불량 로트 10개를 비교하는 웰치 t 검정 20개다. 진짜 원인 변수(칸 오른쪽 위 ★)는 효과 크기 $d = 1.5$로 차이가 난다. 빨간 칸은 거짓 경보, 초록 칸은 진짜 원인을 잡은 것이다. 해볼 것: ① 보정 없이 1000번: FWER가 약 64%다. ② 본페로니로 바꾸면 5% 아래로 내려간다. ③ 진짜 원인을 3개로 두고 본페로니, 홀름, BH의 검출률을 비교하자. 홀름은 본페로니보다 늘 같거나 많이 잡고, BH는 거짓 경보를 조금 허용하는 대신 훨씬 많이 잡는다.

검정 $m$개 가운데 적어도 하나에서 제1종 오류를 범할 확률을 가족별 오류율(familywise error rate, FWER)이라 한다. 검정이 독립이면

$$\mathrm{FWER} = 1 - (1 - \alpha)^m \;\le\; m\alpha$$

오른쪽 부등식은 2장의 합사건 부등식(불 부등식) $P(\bigcup A_i) \le \sum P(A_i)$에서 나오고, 검정이 독립이 아니어도 성립한다.

개별 유의 수준 α

MINI LAB조작: 흰 원을 끌어 검정 수 m을 바꾼다. 빨간 곡선은 보정하지 않은 FWER $1 - (1-\alpha)^m$, 초록 곡선은 각 검정을 $\alpha/m$으로 한 본페로니의 FWER다. 검정 14개면 보정 없이 이미 절반을 넘는다. 본페로니는 $m$이 커져도 $\alpha$ 아래에 머문다.

본페로니와 홀름

본페로니 보정(Bonferroni correction)은 각 검정을 유의 수준 $\alpha/m$으로 한다. 같은 말로, 보정된 p 값 $\min(1, m p_i)$을 $\alpha$와 비교한다. 그러면 $\mathrm{FWER} \le \alpha$가 언제나 보장된다. 홀름 방법(Holm's step-down method)은 p 값을 작은 순서로 $p_{(1)} \le \dots \le p_{(m)}$ 정렬하고, $p_{(k)} \le \alpha/(m - k + 1)$을 만족하는 동안 차례로 기각하다가 처음 실패한 곳에서 멈춘다. FWER를 똑같이 보장하면서 본페로니보다 늘 같거나 더 많이 기각한다.

서로 독립인 검정 20개를 각각 $\alpha$ = 0.05로 하면 거짓 경보가 적어도 하나 날 확률은 이고, 평균 개의 거짓 경보가 난다. 본페로니 문턱은 이고, 그때의 FWER는 다. 대신 효과 크기 $d = 1$인 진짜 차이를 각 군 10개로 잡을 검정력은 에서 로 떨어진다.

본페로니는 단순하고 확실하지만, 검정이 수백 개면 문턱이 너무 낮아져 진짜 원인도 놓친다. 탐색 단계에서는 "기각한 것들 가운데 거짓 경보의 비율"의 기댓값을 묶는 거짓 발견율(false discovery rate, FDR)을 쓰기도 한다. 벤저미니–호크버그(BH) 절차는 정렬한 p 값에서 $p_{(k)} \le k\alpha/m$을 만족하는 가장 큰 $k$까지 모두 기각한다. 어느 방법을 쓰든, 탐색에서 찾은 후보는 새 자료로 확인 실험을 해야 결론이 된다.

공통성 분석의 용의자는 수백 명이다 수율이 나쁜 로트들의 이력을 공정 단계·장비·챔버 수백 개에 대해 하나씩 검정하면, 보정하지 않은 p < 0.05는 우연만으로도 수십 개 나온다. 실무에서는 p 값을 정렬해 본페로니나 FDR로 걸러 후보를 줄이고, 시간 추세나 공선성(같은 로트들이 늘 같이 다니는 장비)을 확인한 뒤, 의심 장비를 피한 분할 로트로 확인 실험을 한다. → YieldBook · 공통성 분석과 근본 원인(용의자가 수백 명일 때: 다중 비교). 웨이퍼 맵의 "무늬"가 우연인지 가리는 귀무가설 설정은 → YieldBook · 무늬인가 우연인가

핵심 정리

가설 검정은 $H_0$(효과 없음)를 가정하고, 자료가 그 가정 아래에서 드문 결과일 때만 $H_0$를 기각한다. 기각하지 못한 것은 "증거 부족"이지 $H_0$의 증명이 아니다. 단측·양측은 자료를 보기 전에 정한다.
검정 통계량은 관측한 차이를 표준 오차 단위로 잰다: $Z = (\bar X - \mu_0)/(\sigma/\sqrt n)$, $T = (\bar X - \mu_0)/(S/\sqrt n) \sim t_{n-1}$. 유의 수준 $\alpha$는 $H_0$가 참일 때 기각역에 떨어질 확률이다(양측 0.05에서 $|z| > 1.96$).
p 값은 $H_0$ 아래에서 관측값만큼 이상 극단적인 결과가 나올 확률이고, $p \le \alpha$면 기각한다. $H_0$가 참이면 p 값은 $\mathrm{U}(0,1)$이다. p 값은 $H_0$가 참일 확률도, 효과의 크기도 아니다. 엿보기와 선택적 보고는 제1종 오류를 부풀린다.
제1종 오류 확률 $\alpha$, 제2종 오류 확률 $\beta$, 검정력 $1 - \beta$는 $\delta\sqrt n/\sigma$에 달려 있다. 표본 크기는 $n = [(z_{\alpha/2} + z_\beta)\sigma/\delta]^2$(두 표본은 각 군 2배)로 실험 전에 정한다. 큰 표본에서는 의미 없는 차이도 유의하므로 효과 크기와 신뢰 구간을 함께 본다.
두 표본 비교는 웰치 t(자유도 웰치–새터스웨이트)를 기본으로, 분산이 같다는 근거가 있으면 합동 t(df $n_1 + n_2 - 2$)를 쓴다. 같은 단위를 두 번 쟀다면 차이로 대응 t를 한다. 단위 간 산포가 클수록 대응 설계의 이득이 크다. $1-\alpha$ 신뢰 구간이 $\mu_0$를 포함하지 않는 것과 양측 $\alpha$ 검정의 기각은 같다.
비율은 $Z = (\hat p - p_0)/\sqrt{p_0(1-p_0)/n}$, 두 비율은 합동 비율로 검정하고, $np_0$가 작으면 정확 이항 검정을 쓴다. 분산은 $X^2 = (n-1)S^2/\sigma_0^2 \sim \chi^2_{n-1}$, 두 분산은 $F = S_1^2/S_2^2$로 검정하며 정규성에 민감하다.
검정 $m$개의 FWER는 $1 - (1-\alpha)^m$으로 빠르게 커진다(20개면 0.64). 본페로니($\alpha/m$)와 홀름은 FWER를 $\alpha$ 아래로, BH는 FDR을 묶는다. 탐색에서 찾은 후보는 확인 실험으로 검증한다.

연습문제

분포의 임계값과 꼬리 확률은 부록 A의 계산기를 쓴다. 따로 말이 없으면 표본은 정규 모집단에서 뽑은 확률 표본이다. 답이 ±1% 이내면 정답이다(표를 읽는 p 값은 ±3%).

식각 깊이의 목표는 2.50 μm, 공정 표준 편차는 $\sigma = 0.06$ μm로 알려져 있다. 웨이퍼 16장의 평균이 2.47 μm였다. $H_0: \mu = 2.50$, $H_1: \mu \ne 2.50$의 검정 통계량 $z$와 p 값을 구하라. α = 0.05에서 결론은?

표준 오차는 $0.06/\sqrt{16} = 0.015$다.

$z = (2.47 - 2.50)/0.015 = -2.00$. 양측 p $= 2\Phi(-2.00) = 2(0.02275) = 0.0455 < 0.05$이므로 기각한다. 식각 깊이가 목표보다 얕다.

(a) α = 0.01 양측 z 검정의 임계값 $z_{0.005}$와 (b) $n = 10$인 단일 표본 t 검정을 α = 0.05 우측으로 할 때의 임계값 $t_{0.05, 9}$를 구하라.

(a) $P(Z > 2.576) = 0.005$이므로 $z_{0.005} = 2.576$. (b) 자유도 9의 상위 5% 분위수 $t_{0.05, 9} = 1.833$. 같은 α의 단측 z 임계값 1.645보다 크다.

새 세정 레시피의 파티클 수 비교에서 p = 0.02가 나왔다. 옳은 해석은?

p 값은 $H_0$가 참이라는 가정 아래에서 계산한 확률 $P(\text{이만큼 극단적인 자료}\mid H_0)$이다. $H_0$나 $H_1$이 참일 확률이 아니고, 재현 확률도 아니다(재현 확률은 검정력에 달려 있다).

SPC 관리도에서 공정이 실제로는 정상인데 관리 한계를 벗어난 점이 나와 장비를 세웠다. 가설 검정의 말로 이것은 무엇인가? ($H_0$: 공정이 관리 상태다)

참인 $H_0$(관리 상태)를 기각했으므로 제1종 오류다. 3σ 관리 한계의 점 하나당 거짓 경보 확률은 $2[1 - \Phi(3)] = 0.0027$로, 16장에서 평균 런 길이(ARL)로 다시 다룬다.

새 게이트 산화 조건에서 항복 전압(V)을 6개 소자로 쟀다: 12.8, 13.4, 12.1, 13.9, 13.1, 13.6. 기존 조건의 평균은 12.5 V다. 항복 전압이 올라갔는지 α = 0.05로 검정하라($H_1: \mu > 12.5$). t와 p 값을 구하라.

$\bar x = 13.15$, $s = 0.641$이다.

$t = (13.15 - 12.5)/(0.6411/\sqrt 6) = 0.65/0.2617 = 2.48$, 자유도 5. 우측 p $= P(T_5 > 2.48) = 0.028 < 0.05$이므로 기각한다. 임계값 $t_{0.05,5} = 2.015$와 비교해도 같다. 양측이었다면 p = 0.056으로 기각하지 못한다.

$\sigma = 2$인 공정에서 $n = 25$로 $H_0: \mu = 50$을 α = 0.05 양측 z 검정한다. 참 평균이 51이면 검정력은 얼마인가?

$\delta\sqrt n/\sigma = 1 \cdot 5/2 = 2.5$다.

$1 - \beta = 1 - \Phi(1.96 - 2.5) + \Phi(-1.96 - 2.5) = 1 - \Phi(-0.54) + \Phi(-4.46) = 0.7054 + 0.0000 = 0.705$. 반대쪽 꼬리의 기여는 무시할 만하다. 1 nm 이동을 30% 확률로 놓친다.

$\sigma = 0.8$ nm인 공정에서 평균이 0.3 nm 바뀐 것을 양측 α = 0.05, 검정력 0.90으로 잡으려면 웨이퍼가 몇 장 필요한가(단일 표본, 정규 근사)?

$z_{0.025} = 1.960$, $z_{0.10} = 1.2816$. $n = [(1.960 + 1.2816)(0.8)/0.3]^2 = (8.644)^2 = 74.7$ → 75장.

두 챔버의 식각률(μm/min): 챔버 1은 12장에서 $\bar x_1 = 8.42$, $s_1 = 0.31$, 챔버 2는 10장에서 $\bar x_2 = 8.19$, $s_2 = 0.27$. 분산이 같다고 보고 합동 표준 편차 $s_p$, 통계량 $t$, 자유도를 구하라. α = 0.05 양측 결론은?

$s_p^2 = (11 \cdot 0.0961 + 9 \cdot 0.0729)/20 = (1.0571 + 0.6561)/20 = 0.08566$, $s_p = 0.2927$. $t = 0.23/(0.2927\sqrt{1/12 + 1/10}) = 0.23/0.1253 = 1.84$, 자유도 20. $t_{0.025, 20} = 2.086$보다 작아 기각하지 못한다(p = 0.081).

소자 A형 8개: $\bar x_1 = 3.10$, $s_1 = 0.20$. B형 12개: $\bar x_2 = 2.85$, $s_2 = 0.45$. 웰치 t 통계량과 웰치–새터스웨이트 자유도 $\nu$를 구하라. 합동 t를 쓰면 무엇이 문제인가?

$a = 0.04/8 = 0.005$, $b = 0.2025/12 = 0.016875$, $\sqrt{a + b} = 0.1479$. $t = 0.25/0.1479 = 1.69$. $\nu = 0.021875^2/(0.005^2/7 + 0.016875^2/11) = 4.785\times10^{-4}/(3.571\times10^{-6} + 2.589\times10^{-5}) = 16.2$. p = 0.11. 합동 t는 큰 분산(0.45)이 큰 표본(12개) 쪽에 있어 두 분산을 평균내면서 작은 표본의 분산을 과대평가하고, 군 크기와 분산이 함께 다를 때는 실제 α가 명목 α와 크게 달라진다.

칩 10개의 누설 전류를 번인 전후로 측정해 차이(후 − 전, nA)의 평균 $\bar d = 0.42$, 표준 편차 $s_d = 0.55$를 얻었다. 번인이 누설 전류를 바꾸는지 양측 검정의 t와 p 값을 구하라.

$t = 0.42/(0.55/\sqrt{10}) = 0.42/0.1739 = 2.41$, 자유도 9, 양측 p = 0.039. α = 0.05에서 기각한다. 칩마다 누설 전류가 크게 다르므로 전후 측정을 독립 두 표본으로 보면 이 차이를 잡기 어렵다.

고객 요구 수율은 95%다. 다이 500개를 검사해 470개가 양품이었다. 수율이 95%보다 낮다는 증거가 있는지 $H_1: p < 0.95$로 정규 근사 z 검정을 하라.

$\hat p = 0.94$. $z = (0.94 - 0.95)/\sqrt{0.95(0.05)/500} = -0.01/0.009747 = -1.03$. 좌측 p $= \Phi(-1.03) = 0.152$. 기각하지 못한다. $np_0 = 475$, $n(1 - p_0) = 25$로 근사 조건은 만족한다(정확 이항 검정은 p = 0.176).

신뢰성 시험에서 기준 불량률은 5%다. 새 패키지 20개를 시험해 4개가 불량이었다. $H_1: p > 0.05$의 정확한 p 값 $P(X \ge 4)$를 구하라. 정규 근사를 쓰면 왜 위험한가?

$P(X \ge 4) = 1 - P(X \le 3)$, $X \sim \mathrm{Bin}(20, 0.05)$.

$P(X=0) = 0.3585$, $P(1) = 0.3774$, $P(2) = 0.1887$, $P(3) = 0.0596$. 합 0.9841. $p = 1 - 0.9841 = 0.0159$. α = 0.05에서 기각. $np_0 = 1$뿐이라 정규 근사의 조건($np_0 \ge 10$)이 크게 깨진다. 정규 근사로 하면 $z = (0.2 - 0.05)/0.0487 = 3.08$, p = 0.001로 증거를 열 배 과장한다.

CD 산포 규격은 $\sigma_0 = 0.6$ nm다. 측정 10개에서 $s = 0.9$ nm를 얻었다. $H_1: \sigma > 0.6$의 통계량 $X^2$와 p 값을 구하라.

$X^2 = 9(0.81)/0.36 = 20.25$, 자유도 9. $\chi^2_{0.05, 9} = 16.92$보다 크므로 기각. p $= P(\chi^2_9 > 20.25) = 0.016$.

장비 1의 웨이퍼 11장에서 $s_1 = 2.4$, 장비 2의 16장에서 $s_2 = 1.5$였다. $H_1: \sigma_1 > \sigma_2$를 α = 0.05로 검정하려 한다. 통계량 $F$와 임계값 $F_{0.05, 10, 15}$를 구하라.

$F = 2.4^2/1.5^2 = 5.76/2.25 = 2.56$, 자유도 (10, 15). $F_{0.05, 10, 15} = 2.54$. 2.56 > 2.54로 아슬아슬하게 기각한다(p = 0.049). 경계에 걸린 결과이므로 표본을 늘려 확인하는 편이 좋다.

PCN 평가에서 서로 독립인 전기 특성 15개를 변경 전후로 각각 α = 0.05 검정한다. 모든 특성에 실제 차이가 없을 때, 적어도 하나가 유의하게 나올 확률은? 본페로니 보정을 하면 개별 검정의 문턱은?

$1 - 0.95^{15} = 1 - 0.4633 = 0.537$. 본페로니 문턱은 $0.05/15 = 0.00333$.

설비 변수 5개의 p 값이 0.004, 0.011, 0.019, 0.030, 0.21이다. α = 0.05에서 본페로니와 홀름은 각각 몇 개를 기각하는가?

본페로니: 문턱 $0.05/5 = 0.01$ → 0.004 하나만 기각. 홀름: $p_{(1)} = 0.004 \le 0.05/5 = 0.010$ 기각, $p_{(2)} = 0.011 \le 0.05/4 = 0.0125$ 기각, $p_{(3)} = 0.019 > 0.05/3 = 0.0167$에서 멈춘다. 홀름은 2개를 기각한다.

개념 확인 퀴즈

유의 수준 α를 0.05에서 0.01로 낮추면 (표본 크기는 그대로)?

기준선을 바깥으로 밀면 거짓 경보는 줄지만 진짜 효과도 기각역에 덜 들어간다. 두 오류를 함께 줄이는 방법은 표본 크기를 늘리거나 산포를 줄이는 것뿐이다. p 값은 자료에서 정해지므로 α와 무관하다.

$H_0$가 참인 실험을 많이 반복했을 때 p 값의 분포는?

$P(p \le \alpha \mid H_0) = \alpha$가 모든 $\alpha$에서 성립하므로 균일 분포다. 그래서 $H_0$가 참이어도 20번 중 한 번은 $p < 0.05$가 나온다.

측정값이 수십만 개인 비교에서 p < 10⁻⁶이 나왔다. 가장 알맞은 다음 행동은?

표본이 크면 아주 작은 차이도 유의해진다. p 값은 효과 크기가 아니므로, 차이가 공정에 의미 있는 크기인지는 신뢰 구간과 허용 차이로 판단한다.

대응 설계가 독립 두 표본 설계보다 특히 유리한 경우는?

짝의 차이를 취하면 단위 사이의 산포가 사라진다. 단위 사이 산포가 측정 잡음보다 클수록 이득이 크다.

공정 단계 200개를 보정 없이 검정해 p = 0.03인 단계 하나를 찾았다. 옳은 판단은?

$H_0$가 모두 참이어도 200 × 0.05 = 10개 정도가 p < 0.05로 나온다. 본페로니 문턱은 0.00025이므로 이 단계는 보정 뒤 유의하지 않다. 후보로 두고 분할 로트로 확인한다.

대립가설	기각역 (z 검정)	α = 0.10	α = 0.05	α = 0.01
\(\mu \ne \mu_0\)	\(\|z\| > z_{\alpha/2}\)	1.645	1.960	2.576
\(\mu > \mu_0\)	\(z > z_\alpha\)	1.282	1.645	2.326
\(\mu < \mu_0\)	\(z < -z_\alpha\)	−1.282	−1.645	−2.326