웨이퍼 검사기가 결함을 찾으면 숫자 대신 이름표를 붙인다 — 파티클, 스크래치, 잔류물, 패턴 결함. 테스터는 칩마다 빈(bin) 번호를 준다. 이런 범주형 자료에는 평균도 표준 편차도 없고, 칸마다 센 개수만 있다. "식각 장비 C는 파티클이 유난히 많은가?", "테스터 2번의 빈 분포는 1번과 같은가?"는 결국 개수의 표가 우연으로 설명되는지 묻는 질문이다. 아래 모자이크 그림에 결함이 하나씩 떨어진다. 타일 폭은 장비별 결함 수, 높이는 그 장비 안의 유형 비율이고, 색은 "독립이라면 기대되는 개수"에서 얼마나 벗어났는지(피어슨 잔차)다. 자료가 쌓일수록 \(\chi^2\)가 커지고 p 값이 떨어진다. 타일 경계의 흰 원을 끌어 개수를 직접 옮겨 보자. 이 장의 후반에서는 정규 분포를 가정할 수 없는 누설 전류 같은 자료를 순위와 순열로 비교하는 비모수 검정을 배운다.
타일 경계의 흰 원을 위아래로 끈다 · 그림을 누르면 처음부터
관측 도수와 기대 도수로 피어슨 카이제곱 통계량을 계산하고, 적합도 검정의 자유도 \(k-1-m\)(추정한 모수 \(m\)개)과 기대 도수 5 이상 규칙을 적용한다.
결함 수 자료에 포아송 분포를 적합하고, 칸 합치기와 과대 산포(결함 군집)를 판단한다.
분할표의 기대 도수 \(E_{ij} = R_iC_j/N\), 자유도 \((r-1)(c-1)\)로 독립성·동질성 검정을 하고, 피어슨 잔차와 크라메르 V로 어디가 얼마나 다른지 말한다.
칸이 작은 2×2 표에 초기하 분포로 피셔 정확 검정을 하고, 카이제곱(예이츠 수정 포함)과 비교한다.
정규 Q–Q 그림의 휘어짐으로 치우침·두꺼운 꼬리·쌍봉·이상값을 읽고, 콜모고로프–스미르노프 통계량 \(D\)를 계산한다.
부호 검정·윌콕슨 부호 순위 검정(대응 자료)과 윌콕슨 순위합(만–휘트니) 검정(독립 두 표본)의 통계량과 정확한 p 값을 구하고, 이상값에 대한 강건성을 t 검정과 비교한다.
순열 검정으로 어떤 통계량이든 귀무 분포를 직접 만들고, 상황에 맞는 검정을 고른다.
카이제곱 적합도 검정
값이 몇 개의 범주 중 하나로만 기록되는 자료를 범주형 자료(categorical data)라 한다. 결함 유형, 빈 번호, 요일, 합격/불합격이 그렇다. 범주형 자료를 요약하는 방법은 범주마다 개수를 세는 것뿐이다. 이 개수를 관측 도수(observed frequency) \(O_i\)라 한다. 가설로 정한 확률 \(p_{i0}\)가 맞다면 \(n\)개 중 범주 \(i\)에 들어갈 개수의 기댓값은 \(E_i = np_{i0}\)이다. 이것이 기대 도수(expected frequency)다. 4장의 다항 분포에서 \(O_i\)는 평균 \(np_{i0}\), 분산 \(np_{i0}(1-p_{i0})\)로 흔들린다. 관측과 기대가 "우연의 흔들림 이상으로" 다른지를 재는 통계량이 칼 피어슨(1900)의 카이제곱이다.
\(k\)는 범주 수. 각 항은 "기대에 견준 어긋남의 제곱"이다. 분모 \(E_i\)는 개수가 클수록 흔들림도 크다는 점을 보정한다(포아송처럼 분산 ≈ 평균). 자유도가 \(k\)가 아니라 \(k-1\)인 것은 \(\sum O_i = \sum E_i = n\)이라는 제약 때문에 독립적으로 움직이는 칸이 \(k-1\)개뿐이기 때문이다.
이 \(\chi^2\)를 피어슨 카이제곱 통계량(Pearson's chi-square statistic)이라 하고, 이것으로 자료가 가설 분포를 따르는지 판정하는 절차가 적합도 검정(goodness-of-fit test)이다. 관측과 기대가 맞으면 \(\chi^2\)는 작고, 어긋나면 커진다. 그래서 기각역은 언제나 오른쪽 꼬리 하나다: \(\chi^2 > \chi^2_{\alpha,k-1}\)이면 \(H_0\)를 기각하고, p 값은 \(P(\chi^2_{k-1} \ge \chi^2_{\text{관측}})\)이다. 검정의 기본 논리(귀무가설, p 값, 유의 수준)는 11장 가설 검정과 같다.
요일별 불량 120건. 월요일과 금요일이 많아 보이지만, 칸별 기여를 모두 더한 \(\chi^2 = 7.08\)은 자유도 4인 카이제곱 분포에서 13% 확률로 나오는 값이다. "월요일 효과"를 주장하기에는 아직 증거가 약하다.
한 달 동안 주중 5일에 발생한 공정 불량 120건이 월 32, 화 18, 수 21, 목 19, 금 30건이다. 요일마다 불량 확률이 같다는 가설을 유의 수준 0.05로 검정하라.
풀이 보기
전략 \(H_0: p_i = 1/5\). 기대 도수는 모두 \(E_i = 120/5 = 24\)(모두 5 이상). 추정한 모수가 없으니 자유도는 \(5 - 1 = 4\).
\(\chi^2 = 7.08 < 9.49\), p = 0.13 → \(H_0\)를 기각하지 못한다.
검토 월·금 두 칸이 \(\chi^2\)의 59%를 만든다. 같은 비율로 석 달 치(360건)가 모이면 \(\chi^2\)는 세 배인 21.3이 되어 p ≈ 0.0003이다 — 증거의 양은 \(n\)에 비례한다(아래 드래그 숫자 문단).
아래 시뮬레이터에서 관측 막대의 끝을 직접 끌어 보자. 막대를 하나 끌 때마다 칸별 기여와 \(\chi^2\), 그리고 오른쪽 카이제곱 분포 위의 위치가 함께 움직인다.
SIMULATOR
관측 막대를 끌어 보는 적합도 검정
초록 막대 끝의 흰 원을 위아래로 끈다
상황
되돌리기
n—
\(\chi^2\) · 자유도—
임계값—
p 값—
판정—
위 그림의 초록 막대가 관측 도수, 자주색 점선이 기대 도수, 아래 빨간 막대가 칸별 기여 \((O-E)^2/E\)다. 오른쪽은 \(\chi^2_{k-1}\) 밀도와 기각역(빨강), 관측 통계량(초록 선)이다. 해볼 것: ① 주사위에서 막대 하나만 기대보다 5 올려 보라. 기대 도수가 작은 칸일수록 같은 어긋남이 더 큰 기여를 만든다(결함 유형 상황에서 비교). ② 막대 둘을 반대 방향으로 같은 만큼 옮기면 \(n\)은 그대로인데 \(\chi^2\)만 커진다. ③ 과녁 모드를 켜고 p를 정확히 0.05 근처로 만들어 보라 — 임계값 위치를 눈으로 익힌다.
주사위를 120번 던져 6이 나온 비율이 0.21(공정하면 0.167)이고 나머지 다섯 면은 고르게 나왔다면, \(\chi^2 = n\sum(\hat p_i - p_{i0})^2/p_{i0} =\) , 자유도 5에서 p = . 어긋남의 크기 \(w = \sqrt{\chi^2/n} =\) 는 \(n\)과 상관없다. 통계적 유의성은 효과 크기 × 표본 크기다.
제품 기준 빈 비율은 합격(Bin 1) 90%, 누설 불량(Bin 2) 5%, 기능 불량(Bin 3) 3%, 오픈·쇼트(Bin 4) 2%다. 새 테스터에서 500개를 시험한 결과가 436, 34, 18, 12개였다. 이 테스터의 빈 분포가 기준과 다른가?
풀이 보기
전략 기대 도수 \(E = 500 \times (0.90, 0.05, 0.03, 0.02) = (450, 25, 15, 10)\). 가장 작은 칸도 10이므로 근사를 쓸 수 있다. 자유도 3.
검토 절대 차이는 Bin 1이 14개로 가장 크지만 기여는 0.44뿐이고, Bin 2의 9개 차이가 3.24로 가장 크다. 카이제곱은 상대적 어긋남을 본다. 누설 불량만 따로 보고 싶다면 \(34\)건이 \(\mathrm{Bin}(500, 0.05)\)에서 나올 확률을 직접 계산하는 편이 낫다.
\(\chi^2_{k-1}\) 분포는 근사다. 각 \(O_i\)가 대략 정규 분포를 따를 만큼 기대 도수가 커야 맞는다. 흔히 쓰는 경험칙은 "모든 \(E_i \ge 5\)"(코크런은 "\(E_i \ge 1\)이고 80% 이상의 칸이 5 이상"으로 조금 느슨하게 제안했다)이다. 그렇다면 기대 도수가 작을 때 무엇이 어떻게 틀어질까? 귀무가설이 참인 세계에서 자료를 수천 번 만들어 \(\chi^2\)의 실제 분포를 쌓아 보자.
범주 5개 중 하나가 확률 0.005로 아주 드문 불량 빈이고, 시험한 칩이 \(n = 20\)개다(그 칸의 기대 도수 0.1). 귀무가설이 참일 때 α = 0.05로 검정하면 실제로 기각하는 비율은?
드문 칸에 불량이 하나만 나와도 \((1 - 0.1)^2/0.1 = 8.1\)이 더해져 \(\chi^2\)가 갑자기 커진다. 그래서 \(\chi^2\)의 실제 분포는 오른쪽에 뾰족한 덩어리를 만들고, 1종 오류율이 9% 남짓으로 부푼다. 시뮬레이터에서 "드문 칸" 상황으로 1000번 뽑아 확인하라.
SIMULATOR
귀무가설 아래 \(\chi^2\) 쌓기: 근사는 언제 맞나
초록 막대 = 모의 χ² · 자주색 = χ²(k−1) 곡선 · 흰 원을 끌어 n을 바꾼다
상황
뽑기
가장 작은 기대 도수—
모의 횟수—
실제 기각률(α = 0.05)—
이번 표본—
한 번 뽑을 때마다 \(n\)개를 다항 분포로 나눠 담고 \(\chi^2\)를 계산해 히스토그램에 떨어뜨린다. 빨간 띠는 \(\chi^2_{0.05,k-1}\) 오른쪽 기각역이다. 해볼 것: ① 균등 6칸, \(n = 12\)(\(E = 2\))에서 1000번: 히스토그램이 띄엄띄엄한 막대로 쪼개진다 — \(\chi^2\)가 가질 수 있는 값이 몇 개 안 된다. ② 흰 원을 끌어 \(n = 60\)(\(E = 10\))으로 올리면 곡선과 잘 맞고 기각률이 5% 근처로 온다. ③ 드문 칸 상황에서 \(n\)을 20 → 300으로 올리며 기각률이 5%로 내려오는지 보라.
모수를 추정한 적합도: 포아송 적합
가설 분포의 모수를 모를 때가 더 흔하다. "다이당 결함 수가 포아송 분포를 따르는가?"를 물을 때 \(\lambda\)는 보통 자료에서 \(\hat\lambda = \bar x\)로 추정한다. 그러면 기대 도수가 자료에 맞춰 조정되므로 \(\chi^2\)는 저절로 작아지는 쪽으로 기운다. 피셔가 보인 결과는 간단하다 — 추정한 모수 하나마다 자유도를 하나씩 뺀다.
\(k\)는 칸을 합친 뒤의 칸 수. 포아송(\(\lambda\) 추정)은 \(m = 1\), 정규(\(\mu, \sigma\) 추정)는 \(m = 2\)다. 모수를 (그룹으로 묶인 자료의) 최대 가능도로 추정해야 정확히 성립하지만, 실무에서는 \(\bar x\)를 그대로 쓴다.
포아송의 꼬리 칸(\(k \ge 3\) 등)은 기대 도수가 작다. 그런 칸은 이웃과 합쳐 모든 \(\hat E_i \ge 5\)가 되게 한 뒤 칸 수 \(k\)를 센다. 마지막 칸은 "\(\ge\) 몇 개"로 열어 두어 확률의 합이 1이 되게 한다.
다이 200개의 결함 수를 센다. 4개 이상은 모두 4개로 기록했다.
\(\lambda\)를 표본 평균으로 추정한다.
포아송(0.91) 확률로 기대 도수를 구한다. 꼬리 칸의 기대 도수가 5보다 작다.
"3개 이상"으로 합쳐 칸이 4개가 된다. 추정한 모수가 1개이므로 자유도 \(4 - 1 - 1 = 2\).
포아송 적합도 검정의 네 단계. 칸을 합친 뒤에 칸 수를 세고, 추정한 모수 수만큼 자유도를 뺀다.
위 그림의 다이 200개 자료(결함 0, 1, 2, 3, 4개 이상이 각각 86, 66, 32, 12, 4개)가 포아송 분포를 따르는지 α = 0.05로 검정하라.
풀이 보기
전략 \(\hat\lambda = 0.91\)로 기대 도수를 만들고, 기대 도수가 5 미만인 꼬리를 합친다.
검토 자유도를 3으로 잘못 쓰면 p = 0.60으로 더 커 보인다. \(\lambda\)를 자료에 맞췄기 때문에 생긴 "공짜 적합"을 자유도 하나로 갚는 것이다. 0개 칸이 기대(80.5)보다 많고 3개 이상 칸도 많은 모양은 결함이 뭉칠 때(과대 산포)의 전형이다 — 표본이 더 크면 드러날 수 있다.
아래 시뮬레이터에서 \(\lambda\)를 직접 끌어 기대 도수를 움직여 보자. \(\chi^2\)를 가장 작게 만드는 \(\lambda\)는 표본 평균 근처다. 결함이 뭉치는 웨이퍼의 자료로 바꾸면 어떤 \(\lambda\)로도 맞출 수 없다.
SIMULATOR
λ를 끌어 포아송 맞추기
아래 축의 흰 원(λ)을 좌우로 끈다
자료
게임
표본 평균 x̄ · 분산 s²—
지금 λ—
\(\chi^2\) · 자유도 · 칸—
p 값—
게임—
왼쪽: 초록 막대가 관측, 자주색 막대가 포아송(λ) 기대 도수, 점선 상자가 합쳐진 꼬리 칸이다. 오른쪽: λ에 따른 \(\chi^2\) 곡선과 지금 위치. 해볼 것: ① 게임 — λ를 끌어 \(\chi^2\)가 가장 작은 곳을 찾고 "맞혔나?"를 눌러라(±2% 이내면 성공). 최솟점이 \(\bar x\)와 거의 같은가? ② "뭉친 결함"으로 바꾸면 분산 \(s^2\)가 평균보다 훨씬 크다. 0개 칸과 꼬리가 동시에 넘쳐서 어떤 λ로도 p가 작다. ③ 추정 체크를 끄면(λ를 미리 안다고 가정) 자유도가 하나 늘어난다.
MINI LAB포아송 기대 도수 \(n\,P(x)\)에서 5 미만인 칸(빨강)을 이웃과 합치는 규칙. \(n\)이 작거나 λ가 작으면 쓸 수 있는 칸이 두세 개로 줄고, 자유도 \(k - 2\)가 0이 되면 검정 자체가 불가능하다.
결함은 뭉친다 — 포아송 적합이 깨지는 이유 다이당 결함 수가 포아송이면 수율은 \(Y = e^{-AD_0}\)이다. 그러나 실제 웨이퍼의 결함은 스크래치, 가장자리 링, 장비 한 번의 파티클 폭발처럼 몰려서 나온다. 그러면 결함 수의 분산이 평균보다 커지고(과대 산포), 0개 다이가 포아송 예상보다 많아져 수율이 포아송 모형보다 높게 나온다. 위 시뮬레이터의 "뭉친 결함"처럼 적합도 검정이 포아송을 기각하는 것이 음이항(군집 계수 \(\alpha\)) 수율 모형을 쓰는 통계적 근거다. → YieldBook · 결함 밀도와 수율 모델(결함은 뭉친다: 푸아송이 비관적인 이유)
분할표: 독립성 검정과 동질성 검정
결함 하나하나에 "어느 장비에서 왔는가"와 "어떤 유형인가" 두 이름표가 붙어 있으면, 두 범주를 가로·세로로 놓고 개수를 센 표를 만들 수 있다. 이것이 분할표(contingency table)다. \(r\)행 \(c\)열 표의 칸 \((i, j)\)에 관측 도수 \(O_{ij}\), 행 합 \(R_i\), 열 합 \(C_j\), 전체 \(N\)을 쓴다. 질문은 "장비와 결함 유형이 관계가 있는가", 곧 결함 유형의 분포가 장비마다 다른가다.
두 변수가 독립이면 \(P(\text{행 } i \cap \text{열 } j) = P(\text{행 } i)\,P(\text{열 } j)\)이다(3장). 두 주변 확률을 \(R_i/N\), \(C_j/N\)으로 추정하면 기대 도수는
칸별 피어슨 잔차(Pearson residual) \(e_{ij} = (O_{ij} - \hat E_{ij})/\sqrt{\hat E_{ij}}\)는 "어디가" 다른지 알려 준다. 귀무가설 아래에서 대략 표준 정규보다 조금 작게 흔들리므로, \(|e_{ij}| > 2\) 정도면 눈여겨볼 칸이다. 연관의 크기는 \(N\)에 휘둘리지 않는 크라메르 V(Cramér's V)로 말한다.
$$V = \sqrt{\frac{\chi^2}{N\,(\min(r, c) - 1)}},\qquad 0 \le V \le 1$$
\(V = 0\)이면 표가 정확히 독립, \(V = 1\)이면 한 변수가 다른 변수를 완전히 결정한다. 대략 0.1 작음, 0.3 중간, 0.5 큼으로 읽는다(코언의 기준, 자유도에 따라 조정).
테스터 1번이 시험한 칩이 200개, 두 테스터를 합한 500개 가운데 Bin 3(기능 불량)이 40개라면, 테스터와 빈이 독립일 때 테스터 1번의 Bin 3 기대 도수는 \(R\,C/N =\) 개다. 실제로 24개가 나왔다면 이 칸의 잔차는 , \(\chi^2\) 기여는 이다.
두 가지 다른 자료 수집 방식이 같은 계산으로 끝난다는 점이 중요하다.
독립성 검정(test of independence)
한 모집단에서 \(N\)개를 뽑아 두 변수로 동시에 분류한다. 행 합도 열 합도 우연히 정해진다. 예: 한 주 동안 검출된 결함 전부를 장비와 유형으로 분류. \(H_0\): 두 변수가 독립.
동질성 검정(test of homogeneity)
행마다 정해진 개수를 따로 뽑는다(행 합이 설계로 고정). 예: 장비마다 결함 80개씩 리뷰해 유형을 분류. \(H_0\): 모든 행의 범주 분포가 같다. 통계량·기대 도수·자유도는 독립성 검정과 똑같다.
자료를 모은 방식에 따라 가설의 말이 다를 뿐, 계산은 같다. 동질성 설계는 드문 행(새 장비)도 충분히 표본을 확보할 수 있어 실무에서 흔하다.
식각 장비 A, B, C에서 각각 결함 80개를 리뷰해 유형을 분류했다. A: 파티클 45, 스크래치 15, 패턴 20 / B: 40, 20, 20 / C: 25, 25, 30. 장비마다 결함 유형 분포가 같은가(α = 0.05)? 어느 칸이 다른가?
풀이 보기
전략 행 합이 80으로 고정된 동질성 검정. 열 합 110, 60, 70, \(N = 240\). 기대 도수는 행마다 \(80 \times (110, 60, 70)/240 = (36.67, 20, 23.33)\).
풀이 잔차: A (+1.38, −1.12, −0.69), B (+0.55, 0, −0.69), C (−1.93, +1.12, +1.38). 제곱합 \(\chi^2 = 11.27\), 자유도 \((3-1)(3-1) = 4\), \(\chi^2_{0.05,4} = 9.488\). p = 0.024. \(V = \sqrt{11.27/(240 \times 2)} = 0.153\).
\(\chi^2 = 11.3\), p = 0.024 → 유형 분포가 장비마다 다르다. 가장 큰 차이는 장비 C의 파티클이 적고(잔차 −1.93) 패턴·스크래치가 많은 것.
검토 \(V = 0.15\)는 "작은" 연관이다. 유의하다는 것과 크다는 것은 다르다. 또 어떤 칸도 \(|e| > 2\)는 아니므로, 한 칸의 큰 이탈이 아니라 C 행 전체의 모양 차이가 결론을 만든다.
이제 표를 직접 만져 보자. 칸의 막대를 끌면 개수가 바뀌고, 기대 도수·잔차 색·\(\chi^2\)·V가 즉시 다시 계산된다. 게임 모드에서는 빈칸 하나("?")만 움직일 수 있다 — 표가 가장 독립에 가깝도록 그 칸을 채워 보라.
모든 \(O\)와 \(E\)가 10배가 되면 \((O-E)^2/E\)는 10배다. V는 \(\chi^2/N\)을 보므로 그대로다. 표본이 크면 아주 작은 차이도 "유의"해진다 — 그래서 효과 크기 V를 함께 보고한다. 시뮬레이터의 "×2" 버튼으로 확인하라.
SIMULATOR
분할표 실험실: 잔차 지도와 "독립으로 만들기" 게임
칸 안 흰 원을 위아래로 끌어 개수를 바꾼다
표 크기(행 × 열)
표 바꾸기
표시
게임: ? 칸 채우기
N—
\(\chi^2\) · 자유도—
p 값—
크라메르 V—
가장 작은 기대 도수—
게임—
칸 색은 피어슨 잔차다(빨강: 기대보다 많음, 파랑: 적음, 진할수록 |e|가 큼). 오른쪽(좁은 화면은 아래) 그래프는 \(\chi^2_{(r-1)(c-1)}\) 위의 관측 통계량이다. 해볼 것: ① "독립 표본"을 여러 번 눌러 보라 — 진짜 독립인 모집단에서도 잔차 색이 얼룩덜룩하고 p가 0.05 아래로 가끔 떨어진다. ② 한 칸만 크게 키우면 그 칸뿐 아니라 같은 행·열의 다른 칸 잔차도 반대 색으로 변한다(기대 도수가 같이 바뀌므로). ③ 게임: "?" 칸을 끌어 \(\chi^2\)를 최소로 만든 뒤 "확인". 정답은 그 행의 다른 칸 비율이 열 합 비율과 맞는 값이다.
MINI LAB위 예제(장비 A·B·C × 결함 유형)의 비율을 그대로 두고 각 장비의 리뷰 개수만 \(80m\)개로 바꾼다. \(\chi^2\)(초록)는 \(m\)에 비례해 직선으로 커지고 p는 떨어지지만, 크라메르 V(자주)는 수평선이다. \(m\)이 얼마일 때 p가 0.05를 넘는가?
결함 파레토를 장비별로 쪼갤 때 결함 리뷰 결과는 보통 유형별 파레토 막대로 본다. 장비가 여럿이면 "장비 × 유형" 분할표가 되고, 이 절의 \(\chi^2\) 검정이 "장비마다 유형 구성이 다른가"를 묻는다. 유의하면 잔차 지도가 범인을 가리킨다 — 어떤 장비의 어떤 유형이 기대보다 많은가. 다만 리뷰 샘플링이 장비마다 다르면(한 장비만 큰 결함 위주로 리뷰) 표 자체가 치우치므로, 동질성 설계처럼 장비마다 같은 규칙으로 무작위 리뷰를 해야 한다. → YieldBook · 검출, 리뷰, 분류(리뷰 샘플링과 파레토)
피셔 정확 검정: 칸이 작은 2×2 표
불량 웨이퍼가 몇 장뿐일 때 공통성 분석은 아주 작은 2×2 표를 만든다. 예를 들어 웨이퍼 18장 가운데 챔버 1을 지난 8장 중 6장, 챔버 2를 지난 10장 중 1장이 불량이었다. 기대 도수가 3–6이라 카이제곱 근사를 믿기 어렵다. 로널드 피셔의 해법은 행 합과 열 합을 고정한 채 가능한 모든 표를 나열하는 것이다.
2×2 표 \(\begin{pmatrix} a & b \\ c & d \end{pmatrix}\)에서 행 합 \(R_1 = a + b\), 열 합 \(C_1 = a + c\), 전체 \(N\)을 고정하면 표는 \(a\) 하나로 정해진다. 귀무가설(행과 열이 무관)이 참이면, 불량 \(C_1\)장이 웨이퍼 \(N\)장 중 무작위로 정해진 것과 같으므로 챔버 1에 떨어진 불량 수 \(a\)는 4장의 초기하 분포를 따른다.
양측 p 값은 관측된 표보다 "같거나 덜 그럴듯한" 모든 표의 확률을 더한다(R, scipy의 관례). 단측(챔버 1이 더 나쁘다)이면 \(P(X \ge a)\)만 더한다.
이 절차를 피셔 정확 검정(Fisher's exact test)이라 한다. 근사가 없으므로 칸이 아무리 작아도 쓸 수 있다. 연관의 크기는 오즈비(odds ratio) \(\mathrm{OR} = ad/(bc)\)로 말한다 — 챔버 1에서 불량일 오즈가 챔버 2의 몇 배인가.
행·열 합을 고정하면 표의 자유도는 1 — 칸 \(a\) 하나로 정해진다.
\(H_0\) 아래에서 \(a\)는 초기하 분포를 따른다. 가능한 표 8개의 확률을 모두 계산한다.
관측된 표(\(a = 6\))의 확률은 0.0088이다.
관측 이하의 확률을 가진 표를 모두 더한 것이 양측 p 값 0.0128이다.
피셔 정확 검정은 "주변 합이 같은 모든 표" 가운데 관측된 표가 얼마나 드문지를 직접 센다. 근사도 기대 도수 조건도 없다.
카이제곱을 2×2 표에 쓸 때는 \(O\)가 정수라는 불연속성을 보정하는 예이츠 연속성 수정(Yates' continuity correction)을 쓰기도 한다: \(\chi^2_Y = \sum (|O - E| - 0.5)^2/E\). 수정하면 \(\chi^2\)가 작아져 p 값이 커진다(보수적). 7장의 이항 정규 근사에서 쓴 연속성 수정과 같은 생각이다.
웨이퍼 18장 중 챔버 1을 지난 8장에서 불량 6장, 챔버 2를 지난 10장에서 불량 1장이 나왔다. 피셔 정확 검정, 카이제곱 검정(수정 없음), 예이츠 수정 카이제곱의 양측 p 값을 비교하라.
풀이 보기
전략 표 [[6, 2], [1, 9]], 기대 도수 [[3.11, 4.89], [3.89, 6.11]] — 두 칸이 5 미만이므로 피셔 검정이 기준이다.
피셔 p = 0.013, 카이제곱 p = 0.0049, 예이츠 p = 0.020. 모두 0.05보다 작지만 카이제곱(수정 없음)은 증거를 2–3배 과장한다.
검토 단측 피셔 p(챔버 1이 더 나쁘다)는 \(0.0088 + 0.0003 = 0.0090\)이다. 하지만 장비 수십 대를 다 뒤져서 가장 작은 p를 고른 것이라면 다중 비교 보정(11장)이 필요하다.
기대 도수가 작은 2×2 표에서 같은 자료로 p 값 세 개를 계산하면 보통 어떤 순서일까?
수정 없는 카이제곱은 작은 표에서 p를 너무 작게 내는 경향이 있고, 예이츠 수정은 반대로 크게(보수적으로) 낸다. 피셔는 그 사이, 대개 예이츠에 가깝다. 시뮬레이터에서 a를 끌며 세 막대를 비교하라. 표 크기를 키우면 셋이 하나로 모인다.
SIMULATOR
초기하 분포 위에서 a를 끄는 피셔 검정
막대 위 흰 원(관측 a)을 좌우로 끈다
대립가설
표 [[a, b], [c, d]]—
가장 작은 기대 도수—
오즈비—
p: 피셔 · χ² · 예이츠—
위: 주변 합이 고정된 표들의 초기하 확률. 빨간 막대가 p 값에 들어가는 표다. 아래: 세 방법의 p 값(로그 눈금)과 α = 0.05 선. 해볼 것: ① 처음 자료(\(a = 6\))에서 p 세 개를 읽어라(예제와 같다). ② \(N\)을 120, R₁ = 50, C₁ = 45로 키우고 a를 움직이면 세 p가 거의 겹친다 — 큰 표에서는 무엇을 써도 된다. ③ 양측과 단측을 오가며 어느 막대가 빠지는지 보라.
MINI LAB두 군의 불량률이 같은 세계(\(H_0\) 참)에서 2×2 표를 2000번 만들어 세 검정의 실제 1종 오류율을 잰다. 점선이 명목 α = 0.05. 피셔와 예이츠는 5% 아래(보수적), 수정 없는 카이제곱은 5% 근처나 위로 오르내린다.
스플릿 로트에서 새 레시피 웨이퍼 10장 중 불량 1장, 기존 레시피 10장 중 불량 6장이면, 오즈비는 이고 피셔 양측 p = 다.
공통성 분석의 2×2 표 수율 이탈 로트가 생기면 엔지니어는 불량 웨이퍼와 정상 웨이퍼가 지난 장비·챔버·레티클을 하나씩 대조한다. 장비마다 "지났다/안 지났다 × 불량/정상" 2×2 표가 생기고, 불량 웨이퍼가 몇 장뿐이라 피셔 정확 검정이 표준 도구다. 함정은 두 가지다. 장비 수백 대를 다 검정하면 우연히 작은 p가 몇 개 나오므로 본페로니나 FDR 보정이 필요하고, 같은 로트가 함께 지나는 장비들은 서로 엮여(공선성) 진짜 범인과 동행인을 구분할 수 없다. → YieldBook · 공통성 분석과 근본 원인(우연이 아님을 보이기: 분할표와 검정)
정규성 확인: Q–Q 그림과 콜모고로프–스미르노프 검정
t 검정, 분산의 카이제곱 구간, 회귀의 추론은 모두 자료(또는 잔차)가 정규 분포라고 가정한다. 표본이 크면 중심 극한 정리 덕분에 평균에 관한 추론은 꽤 버티지만, 분산·예측 구간·공정 능력 지수는 정규성이 깨지면 크게 틀린다. 그래서 분석 전에 "이 자료가 정규라고 봐도 되는가"를 확인한다. 가장 강력한 도구는 그림이다.
정규 Q–Q 그림(normal quantile–quantile plot)은 정렬한 자료 \(x_{(1)} \le \dots \le x_{(n)}\)을 표준 정규 분위수 \(z_i = \Phi^{-1}\big((i - 3/8)/(n + 1/4)\big)\)에 대해 찍은 그림이다. 자료가 \(N(\mu, \sigma^2)\)이면 \(x_{(i)} \approx \mu + \sigma z_i\)이므로 점들이 기울기 \(\sigma\), 절편 \(\mu\)인 직선 위에 놓인다. 직선에서 벗어나는 모양이 분포의 어디가 정규와 다른지 말해 준다.
자료를 오름차순으로 정렬한다.
\(i\)번째 값에 누적 확률 \(p_i\)를 준다(블롬의 위치).
그 확률의 표준 정규 분위수 \(z_i\)를 구한다.
\((z_i, x_{(i)})\)를 찍고 사분위 점을 잇는 기준선을 긋는다. 가장 큰 값이 기준선 위로 크게 벗어난다 — 오른쪽 꼬리가 길거나 이상값이 있다.
Q–Q 그림은 "정규라면 \(i\)번째 값이 있어야 할 곳"과 실제 \(i\)번째 값을 맞대 본다. 히스토그램과 달리 계급 폭을 고를 필요가 없고, 꼬리가 잘 보인다.
Q–Q 그림 모양
뜻
반도체 예
곧은 직선
정규 분포
CD, 막두께(잘 관리된 공정)
아래로 볼록(양 끝이 위로 휨, J 모양)
오른쪽 꼬리(양의 왜도)
누설 전류, 결함 크기, 수명
S자: 왼쪽 끝은 아래, 오른쪽 끝은 위
두꺼운 꼬리(양쪽)
측정 잡음에 가끔 튀는 값이 섞임
역 S자: 양 끝이 납작
얇은 꼬리(균일 분포 같음)
스펙으로 잘린(선별된) 자료
가운데에 계단·꺾임
쌍봉(두 집단 혼합)
두 챔버·두 장비의 자료가 섞임
한두 점만 멀리 벗어남
이상값
프로브 접촉 불량, 기록 오류
자료가 꼬리가 두꺼운 분포(자유도 3인 t 분포)에서 왔다. 정규 Q–Q 그림은 어떤 모양일까?
두꺼운 꼬리는 극단값이 정규 예상보다 더 멀리 있다는 뜻이다. 가장 작은 값은 더 작게(기준선 아래), 가장 큰 값은 더 크게(위) 찍힌다. 가운데는 오히려 기준선에 붙는다. 시뮬레이터에서 "두꺼운 꼬리"를 골라 확인하라.
SIMULATOR
Q–Q 그림 탐색기와 "모양 맞히기" 게임
Q–Q 점을 위아래로 끌면 그 값이 바뀐다
모집단 모양
뽑기
게임: 수수께끼 자료의 모양은?
표본 왜도 · 초과 첨도—
KS D(모수 추정) · p(참고)—
게임 점수—
왼쪽: 정규 Q–Q 그림(자주색 점선이 사분위 기준선, 흐린 띠는 정규 표본이면 점의 95%가 들어오는 범위). 오른쪽: 같은 자료의 히스토그램과 맞춘 정규 곡선. 해볼 것: ① "정규"를 n = 10으로 여러 번 다시 뽑아 보라 — 정규 자료도 작은 표본에서는 꽤 구불구불하다. 띠 안이면 괜찮다. ② 가장 오른쪽 점을 위로 끌어 이상값 하나를 만들면, 히스토그램은 거의 그대로인데 Q–Q 그림은 바로 알려 준다. ③ 게임: "수수께끼 자료"를 누르면 모양 이름이 숨겨진다. 그림만 보고 아래에서 고른다(5문제 연속 도전).
그림 판단을 숫자로 바꾸는 검정도 있다. 경험적 누적 분포 함수(empirical CDF) \(F_n(x) = (\text{x 이하인 자료 수})/n\)은 계단 함수이고, 가설 분포의 cdf \(F_0(x)\)와 겹쳐 그릴 수 있다. 둘 사이의 가장 큰 세로 간격이 콜모고로프–스미르노프 검정(Kolmogorov–Smirnov test)의 통계량이다.
\(F_0\)가 완전히 정해진 연속 분포이면 \(D_n\)의 분포는 \(F_0\)와 상관없다(분포 무관). 큰 \(n\)에서 \(D_{0.05} \approx 1.36/\sqrt n\). 계단은 자료점에서만 뛰므로 각 \(x_{(i)}\)의 계단 위·아래 두 곳만 보면 된다.
모수를 자료로 추정하면 KS p 값은 너무 크다 KS 검정은 \(F_0\)의 \(\mu, \sigma\)를 미리 알 때의 검정이다. 같은 자료에서 \(\bar x, s\)를 구해 넣으면 \(F_0\)가 자료 쪽으로 끌려와 \(D\)가 작아지고, 표준 KS 표의 p 값은 정규성을 잘 기각하지 못한다. 이때는 릴리포스 보정 표나 샤피로–윌크 검정을 쓴다. 이 책의 시뮬레이터가 "모수 추정" KS p 값을 "참고"로만 표시하는 이유다.
전략 각 \(x_{(i)}\)에서 \(\Phi(x_{(i)})\)를 구하고 \(i/8 - \Phi\)와 \(\Phi - (i-1)/8\) 가운데 최대를 찾는다.
풀이 \(\Phi\): 0.115, 0.212, 0.309, 0.540, 0.618, 0.816, 0.919, 0.995. 계단 아래 간격 \(\Phi - (i-1)/8\): 0.115, 0.087, 0.059, 0.165, 0.118, 0.191, 0.169, 0.120. 계단 위 간격 \(i/8 - \Phi\)는 모두 0.07 이하. 따라서 \(D_8 = 0.191\)(\(x = 0.9\)에서).
\(D_8 = 0.191 < 0.454\), p = 0.88 → \(N(0,1)\)을 기각하지 않는다.
검토 8개로는 웬만한 차이를 잡지 못한다. 근사식 \(1.36/\sqrt8 = 0.481\)은 정확한 값 0.454보다 약간 크다(작은 \(n\)에서 근사는 보수적). KS 검정은 분포 가운데의 차이에 민감하고 꼬리 차이에는 둔하다 — 꼬리가 중요하면 Q–Q 그림이나 앤더슨–달링 검정을 본다.
SIMULATOR
ECDF와 CDF의 최대 간격 D: 정규 곡선을 손으로 맞추기
자주색 CDF의 흰 원 둘을 끈다: 가운데 = μ, 오른쪽 = σ
자료
도구
가설 F₀—
D · 위치—
D₀.₀₅(정확)—
p(모수를 미리 안다면)—
과녁: D < D₀.₀₅ 의 절반—
초록 계단이 \(F_n\), 자주색 곡선이 가설 \(F_0 = \Phi((x-\mu)/\sigma)\), 빨간 세로 막대가 최대 간격 \(D\)다. 해볼 것: ① 과녁 — 흰 원을 끌어 \(D\)를 임계값의 절반 아래로 만들어 보라. 손으로 찾은 \(\mu, \sigma\)가 \(\bar x, s\)와 비슷한가? ② "누설 전류" 자료는 어떤 \(\mu, \sigma\)로도 잘 맞지 않는다(\(D\)가 왼쪽 가파른 곳에서 생긴다). 로그 변환을 켜면 곧바로 맞는다 — 로그 정규 자료는 로그를 취해 분석한다. ③ \(n\)을 150으로 올리면 임계값이 \(1.36/\sqrt n\)으로 줄어 같은 어긋남도 잡힌다.
표본 50개로 KS 검정을 하면 5% 임계값은 약 \(1.36/\sqrt n =\) 이다. ECDF와 가설 CDF가 최대 0.10만큼 어긋날 때 이를 잡으려면 \(n \ge (1.36/D)^2 =\) 개가 필요하다.
누설 전류는 정규가 아니다 — PAT와 강건한 한계 칩별 대기 전류(IDDQ)나 누설 전류는 문턱 전압 산포가 지수로 증폭되어 로그 정규에 가깝고, 오른쪽 꼬리가 길다. 이런 자료에 평균 ± 6σ 한계를 그대로 쓰면 꼬리 때문에 σ가 부풀어 한계가 너무 넓어진다. 그래서 부품 평균 테스트(PAT)는 중앙값과 사분위 범위로 만든 강건한 시그마(\(\mathrm{IQR}/1.35\))를 쓰거나 로그 변환 뒤 한계를 정한다. 어느 방법을 쓸지는 Q–Q 그림으로 꼬리 모양을 보고 정한다. → TestBook · 빈 분류와 이상치 스크리닝(PAT: 규격 안의 이상치)
부호 검정과 윌콕슨 부호 순위 검정
지금까지의 검정은 대부분 자료가 특정 분포(정규, 포아송)를 따른다고 가정했다. 분포의 모양을 가정하지 않고 순서·부호·순위만 쓰는 검정을 비모수 검정(nonparametric test)이라 한다. 정규성이 의심스럽거나, 이상값이 있거나, 측정값이 "좋아짐/나빠짐"처럼 순서만 있을 때 쓴다. 대가는 정규 자료에서 검정력이 약간 낮다는 것이다.
가장 단순한 것은 부호 검정(sign test)이다. 대응 자료(같은 칩을 두 테스터로 잼)의 차이 \(d_i\) 중앙값이 0이라는 \(H_0\) 아래에서, 각 차이는 확률 1/2로 양수다. 0인 차이를 버린 \(n\)개 가운데 양수 개수 \(S\)는
\(H_0\)(차이가 0을 중심으로 대칭) 아래에서 순위 \(1, \dots, n\) 각각이 확률 1/2로 + 부호를 받는다. \(2^n\)가지 부호 배치를 모두 세면 정확한 분포가 나오고, \(n \gtrsim 20\)이면 정규 근사를 쓴다. 동률은 평균 순위를 준다.
대응 쌍의 차이 \(d_i\)를 구한다(0은 버린다).
부호를 떼고 절댓값을 본다.
절댓값에 작은 것부터 순위를 매긴다.
양수 차이의 순위를 더하면 \(W^+\). 귀무 분포는 순위마다 동전을 던져 부호를 정하는 \(2^n\)가지 배치에서 나온다.
윌콕슨 부호 순위 통계량. 순위로 바꾸는 순간 측정 단위와 분포 모양이 사라지고, 남는 것은 "큰 차이가 어느 쪽에 몰렸는가"뿐이다.
같은 소자 12개의 문턱 전압을 테스터 A와 B로 재어 차이(A − B, mV)를 얻었다: 1.8, 1.2, 0.6, 2.3, 0.4, 1.5, 0.9, 2.0, 1.1, −0.7, 1.4, −14.0. 마지막 값은 B 쪽 프로브 접촉이 불량했던 소자다. 대응 t 검정, 부호 검정, 윌콕슨 부호 순위 검정의 양측 p 값을 구하라.
풀이 보기
전략 세 검정 모두 \(H_0\): 테스터 사이 차이가 없다(차이의 중심이 0). 이상값의 영향을 비교한다.
검토 12개 중 10개가 A가 높다고 말하는데, 이상값 하나가 평균을 음수로 끌고 표준 편차를 4.4 mV로 부풀려 t 검정을 무력하게 만들었다. 이상값을 −1.0으로 바꾸면 t p = 0.007, 윌콕슨 p = 0.012로 돌아온다. 윌콕슨은 이상값에 가장 큰 순위(12)를 주므로 어느 정도 영향을 받고, 부호 검정은 전혀 받지 않는다. 물론 가장 좋은 처방은 접촉 불량 자료를 원인을 밝혀 제외하는 것이다.
시뮬레이터의 차이 자료에서 가장 왼쪽 점(이상값)을 −14에서 −40까지 더 왼쪽으로 끌면, 윌콕슨 부호 순위 검정의 p 값은?
이미 \(|d|\)가 가장 크므로 순위는 12 그대로다. 순위가 바뀌지 않으면 \(W^+\)도 p도 바뀌지 않는다. 반면 t 검정의 p는 계속 움직인다. 순위 검정이 강건한 이유가 바로 이것이다.
SIMULATOR
대응 차이를 끌어 비교하는 t · 부호 · 윌콕슨
위 점들을 좌우로 끈다 · 아래는 W⁺의 정확한 귀무 분포
자료
도구
평균 · 중앙값—
t 검정 p—
부호 검정 p (양수/n)—
윌콕슨 W⁺ · p—
위 점의 숫자는 \(|d|\)의 순위, 초록은 양수, 빨강은 음수 차이다. 아래 막대는 \(2^n\)가지 부호 배치로 센 \(W^+\)의 정확한 분포와 p 값 영역(빨강)이다. 해볼 것: ① 예제에서 이상값을 0 근처로 끌어오면 t 검정 p가 급격히 작아진다. ② "정규 차이"에서는 세 p가 비슷하고, 대개 t < 윌콕슨 < 부호 순이다(정규 자료에서는 t가 가장 강력). ③ 가장 작은 |d|의 부호를 뒤집으면(0을 건너 끌기) W⁺는 1만 바뀌지만 부호 검정의 S는 1 바뀐다 — 어느 쪽 p가 더 많이 움직이는가?
쌍이 20개이고 양수 차이의 순위합이 \(W^+ =\) 160이면, \(H_0\) 아래 평균 \(n(n+1)/4 =\) , 표준 편차 이므로 \(z =\) , 정규 근사 양측 p = .
윌콕슨 순위합(만–휘트니) 검정
독립인 두 표본 — 두 로트, 두 장비, 두 테스트 사이트 — 을 비교하되 정규성을 가정하고 싶지 않을 때 쓰는 검정이다. 두 표본을 합쳐서 작은 것부터 순위 \(1, \dots, n_1 + n_2\)를 매기고, 표본 1이 받은 순위를 더한다. 두 모집단이 같다면 순위는 무작위로 섞여 있어야 하고, 한쪽이 큰 쪽에 몰려 있으면 순위합이 치우친다.
$$W = \sum_{i \in \text{표본 1}} \operatorname{rank}(x_i),\qquad U = W - \frac{n_1(n_1+1)}{2} = \#\{(i, j): x_i > y_j\}$$
\(U\)는 "표본 1의 값이 표본 2의 값보다 큰 쌍의 수"다(동률은 1/2로 센다). \(0 \le U \le n_1n_2\), \(H_0\) 아래 \(E[U] = n_1n_2/2\), \(\operatorname{Var}(U) = n_1n_2(n_1+n_2+1)/12\). \(U/(n_1n_2)\)는 \(P(X > Y)\)의 추정값이다.
이 검정은 윌콕슨(순위합 \(W\))과 만–휘트니(쌍 개수 \(U\))가 따로 만들었지만 같은 것이라 윌콕슨 순위합 검정(Wilcoxon rank-sum test) 또는 만–휘트니 U 검정(Mann–Whitney U test)이라 부른다. 귀무 분포는 \(\binom{n_1+n_2}{n_1}\)가지 순위 배정이 모두 같은 확률이라는 데서 정확히 셀 수 있다.
로트 X(초록) 5개와 로트 Y(자주) 6개. 합쳐서 순위를 매기면 X가 아래쪽 순위에 몰려 있다. \(U = 2\)는 가능한 최솟값 0에 가깝다.
로트 X 웨이퍼 5장의 중앙값 누설 전류(pA)가 3.1, 4.5, 2.8, 6.2, 3.9, 로트 Y 6장이 5.6, 8.1, 4.8, 12.5, 7.3, 6.9다. 두 로트의 분포가 같은지 만–휘트니 검정(양측, 정확)으로 판정하고 웰치 t 검정과 비교하라.
풀이 보기
전략 11개를 합쳐 순위를 매긴다. 누설 전류는 오른쪽 꼬리가 길어 정규 가정이 불편하다(Y의 12.5).
검토 정규 근사: \(z = (2 - 15)/\sqrt{30} = -2.37\), p ≈ 0.018(연속성 수정 시 0.023)로 정확한 값과 가깝다. \(U/(n_1n_2) = 2/30\)이므로 X에서 뽑은 웨이퍼가 Y보다 누설이 클 확률은 약 7%로 추정된다.
두 표본의 값을 모두 로그로 바꾼 뒤(\(\ln x\)) 만–휘트니 검정을 다시 하면 p 값은?
로그는 순서를 보존하는 단조 증가 함수다. 순위가 그대로이니 \(U\)도 p도 그대로다. 순위 검정은 단조 변환에 대해 불변이다 — t 검정은 그렇지 않다. 시뮬레이터의 "로그 눈금" 버튼으로 확인하라.
SIMULATOR
순위 매기기 애니메이션과 U 세기
위 두 줄의 점을 좌우로 끈다
자료
도구
W(표본 1 순위합)—
U = #(x > y)—
만–휘트니 p(정확)—
웰치 t p—
위: 두 표본(초록 = 1, 자주 = 2). "순위 매기기"를 누르면 점들이 한 줄로 내려와 순위를 받는다. 가운데: \(n_1 \times n_2\) 쌍 비교 격자 — 칸 \((i, j)\)가 초록이면 \(x_i > y_j\), 초록 칸의 수가 \(U\)다. 아래: \(U\)의 정확한 귀무 분포. 해볼 것: ① 예제에서 Y의 가장 큰 점(12.5)을 오른쪽 끝까지 끌어도 \(U\)와 p가 그대로인 것, t 검정 p는 커지는 것을 확인하라. ② X의 점 하나를 Y 무리 위로 넘기면 격자의 한 줄이 초록으로 바뀐다. ③ "로그 눈금"을 눌러도 순위는 그대로다.
MINI LAB\(U\)의 정확한 귀무 분포(막대, \(\binom{n_1+n_2}{n_1}\)가지 배정을 셈)와 정규 근사 \(N(n_1n_2/2,\ n_1n_2(n_1+n_2+1)/12)\)(자주 곡선). 표본이 각 8개 정도만 되어도 근사가 잘 맞는다. 빨간 막대는 양측 5% 기각역.
반도체 현장: 테스트 사이트·테스터 사이 비교 멀티사이트 프로브 카드는 칩 여러 개를 동시에 시험한다. 사이트마다 접촉 저항과 배선이 달라 측정값이 조금씩 어긋나고, 이 어긋남이 빈 맵에 줄무늬 같은 "가짜 무늬"를 만든다. 사이트별 누설 전류처럼 꼬리가 긴 값을 비교할 때는 평균 대신 순위 기반의 만–휘트니 검정(두 사이트)이나 크러스컬–월리스 검정(여러 사이트)을 쓰고, 빈 비율은 사이트 × 빈 분할표의 \(\chi^2\) 검정으로 본다. 같은 칩을 두 테스터로 재는 상관 시험(correlation)은 앞 절의 대응 비교다. → YieldBook · 웨이퍼 테스트와 빈 맵(테스트가 만든 가짜 무늬)
순열 검정과 검정 고르기
피셔 검정은 "주변 합을 고정하고 모든 표를 나열", 만–휘트니는 "모든 순위 배정을 나열"이었다. 둘 다 같은 생각의 특수한 경우다. 귀무가설이 "두 집단은 같은 분포"라면 각 값에 붙은 집단 이름표는 아무 의미가 없다. 그러면 이름표를 무작위로 섞어도(순열) 통계량의 분포는 같아야 한다. 이 성질을 교환 가능성(exchangeability)이라 한다.
순열 검정
순열 검정(permutation test): ① 관측 자료로 통계량 \(T_{\text{obs}}\)(평균 차, 중앙값 차, t, \(\chi^2\) 무엇이든)를 계산한다. ② 이름표를 무작위로 섞어 같은 통계량을 다시 계산하기를 \(B\)번(또는 가능한 \(\binom{n_1+n_2}{n_1}\)가지 모두) 반복한다. ③ p 값 = 섞은 결과가 \(|T_{\text{obs}}|\) 이상으로 극단적인 비율. 몬테카를로로 할 때는 \(p = (\#\{|T^*| \ge |T_{\text{obs}}|\} + 1)/(B + 1)\)로 쓴다.
분포를 가정하지 않으면서 통계량은 자유롭게 고를 수 있다는 것이 장점이다. 귀무 분포를 수학으로 유도하지 않고 컴퓨터로 만든다. 몬테카를로 p 값의 표준 오차는 \(\sqrt{p(1-p)/B}\)이므로, p ≈ 0.05를 ±0.005로 알려면 \(B \approx 2000\)이면 된다.
CD 보정 실험에서 장비 A의 웨이퍼 4장 오프셋이 2.1, 3.4, 2.9, 3.8 nm, 장비 B 4장이 1.2, 2.0, 1.5, 2.6 nm다. 평균 차를 통계량으로 하는 정확한 순열 검정의 양측 p 값은?
풀이 보기
전략 8개 값에서 "A" 이름표 4개를 붙이는 방법은 \(\binom84 = 70\)가지. 각 배정의 평균 차를 계산해 \(|\,\cdot\,| \ge |T_{\text{obs}}|\)인 개수를 센다.
풀이 \(T_{\text{obs}} = 3.05 - 1.825 = 1.225\). 이보다 크거나 같은 배정: 관측 그대로(1.225)와 {3.4, 2.9, 3.8, 2.6}을 A로 한 경우(1.475) 두 가지. 대칭으로 −1.225 이하도 두 가지. \(p = 4/70 = 0.057\).
정확한 순열 p = 0.057(단측 0.029). 같은 자료의 합동 t 검정은 p = 0.043.
검토 4장씩으로는 가장 극단적인 배정을 얻어도 양측 p가 \(2/70 = 0.029\)보다 작아질 수 없다 — 작은 표본의 순열 검정은 p 값이 띄엄띄엄하다. t 검정이 더 작은 p를 준 것은 정규성 가정이라는 "정보"를 더 썼기 때문이다.
MINI LAB위 예제의 70가지 배정을 하나씩 넘기며 평균 차를 점으로 쌓는다. 위 줄은 지금 배정(초록 = A 이름표). 빨간 점이 \(|T| \ge 1.225\)인 배정이다.
SIMULATOR
이름표 섞기: 순열 귀무 분포 쌓기
관측값(초록 선)을 넘는 섞음이 빨갛게 쌓인다
자료
통계량
섞기
관측 통계량—
섞은 횟수 B—
순열 p ± SE—
비교: t 검정 · 만–휘트니—
위: 두 장비의 값(색 = 지금 이름표). 섞을 때마다 이름표가 뒤바뀌는 모습이 보인다. 아래: 섞은 통계량의 히스토그램과 관측값(초록 선, 대칭 위치는 점선). 해볼 것: ① "누설 전류"에서 1000번 섞어 p를 읽고 t 검정·만–휘트니와 비교하라. 치우친 자료에서는 평균 차보다 중앙값 차가 더 민감할 수 있다. ② "차이 없음"에서 p가 0과 1 사이 아무 데나 나오는지 여러 번 확인하라. ③ B를 100에서 1000으로 늘리면 p의 SE가 \(1/\sqrt{10}\)로 준다.
이 장에서 만난 검정을 상황별로 정리하면 다음과 같다. 출발점은 언제나 "자료가 개수인가 측정값인가", "대응인가 독립인가", "정규를 믿을 수 있는가"이다.
검정 고르기 흐름도. 비모수 검정은 정규성이 의심되거나, 이상값이 있거나, 표본이 작아 정규성을 확인할 수 없을 때의 안전한 선택이다.
GAME
어떤 검정을 쓸까? — 판단 카드
—
상황—
점수—
연속 정답—
현장에서 실제로 마주치는 상황 9가지. 카드 하나를 고르면 정답과 이유가 나온다. 첫 시도에 맞힌 것만 점수가 된다. 9문제 중 8개 이상이면 이 장을 마스터한 것이다.
핵심 정리
범주형 자료는 칸별 개수로 요약한다. 피어슨 통계량 \(\chi^2 = \sum (O - E)^2/E\)는 관측과 기대의 상대적 어긋남을 모으고, 기각역은 오른쪽 꼬리 하나다. 같은 비율의 어긋남이라도 \(\chi^2\)는 \(n\)에 비례해 커진다.
적합도 검정의 자유도는 \(k - 1 - m\)(칸 수 − 1 − 추정한 모수 수). 칸을 합친 뒤에 \(k\)를 센다. 근사는 기대 도수가 대략 5 이상일 때 믿을 만하고, 드문 칸은 1종 오류율을 부풀린다. 결함 수의 분산이 평균보다 크면(과대 산포) 포아송 적합이 깨진다.
분할표: \(\hat E_{ij} = R_iC_j/N\), 자유도 \((r-1)(c-1)\). 독립성(한 표본을 두 변수로 분류)과 동질성(행마다 따로 뽑음)은 설계와 가설의 말만 다르고 계산은 같다. 피어슨 잔차 \((O-E)/\sqrt E\)는 어디가 다른지, 크라메르 \(V = \sqrt{\chi^2/(N(\min(r,c)-1))}\)는 얼마나 다른지 말한다.
칸이 작은 2×2 표는 주변 합을 고정한 초기하 분포로 피셔 정확 검정을 한다. 수정 없는 \(\chi^2\)는 p를 작게, 예이츠 수정은 크게 내는 경향이 있다. 연관의 크기는 오즈비 \(ad/(bc)\).
정규 Q–Q 그림은 \((\Phi^{-1}(p_i), x_{(i)})\)를 찍어 직선성을 본다: J자 = 오른쪽 꼬리, S자 = 두꺼운 꼬리, 계단 = 쌍봉. KS 통계량 \(D_n = \sup|F_n - F_0|\), 임계값 ≈ \(1.36/\sqrt n\). 모수를 같은 자료로 추정하면 표준 KS p 값은 너무 크다.
비모수 검정은 부호·순위만 쓴다. 부호 검정 \(S \sim \mathrm{Bin}(n, 1/2)\), 윌콕슨 부호 순위 \(W^+\)(평균 \(n(n+1)/4\)), 만–휘트니 \(U = W - n_1(n_1+1)/2 = \#(x > y)\)(평균 \(n_1n_2/2\), 분산 \(n_1n_2(n_1+n_2+1)/12\)). 이상값과 단조 변환에 강건하고, 정규 자료에서는 t 검정보다 검정력이 약간 낮다.
순열 검정은 이름표를 섞어 어떤 통계량이든 귀무 분포를 직접 만든다. 피셔·만–휘트니는 그 특수한 경우다. 몬테카를로 p의 표준 오차는 \(\sqrt{p(1-p)/B}\).
연습문제
분포표 값은 부록 A의 계산기로 확인할 수 있다. 따로 말이 없으면 답이 ±1% 이내면 정답이다(표를 읽는 문제는 ±2%).
주사위를 60번 던져 1부터 6까지 각각 8, 12, 9, 11, 6, 14번 나왔다. 공정한 주사위라는 가설에 대한 \(\chi^2\) 통계량은?
기대 도수는 모두 10이다.
\(\chi^2 = (4 + 4 + 1 + 1 + 16 + 16)/10 = 4.2\). 자유도 5, p = 0.52 — 공정하지 않다는 근거가 없다.
웨이퍼당 파티클 수에 포아송 분포를 적합하려 한다. \(\lambda\)를 표본 평균으로 추정했고, 기대 도수가 작은 꼬리를 합친 뒤 칸이 6개 남았다. \(\chi^2\) 검정의 자유도는?
\(k - 1 - m = 6 - 1 - 1 = 4\). 합친 뒤의 칸 수로 세고, 추정한 모수 \(\lambda\) 하나만큼 뺀다.
범주 4개의 적합도 검정에서(추정한 모수 없음) \(\chi^2 = 8.4\)를 얻었다. p 값은? 유의 수준 0.05와 0.025에서 각각 결론은?
분할표에서 어떤 칸의 행 합이 40, 열 합이 30, 전체가 120이다. 독립성 가설 아래 이 칸의 기대 도수는?
\(E = 40 \times 30/120 = 10\).
두 테스터로 칩을 200개씩 시험했다. 테스터 1: 합격 180, Bin 3 12, Bin 7 8 / 테스터 2: 합격 170, Bin 3 24, Bin 7 6. 빈 분포가 같은지 검정하라. \(\chi^2\)와 p 값은?
열 합은 350, 36, 14. 각 행의 기대 도수는 175, 18, 7이다.
\(\chi^2 = 2\left(\dfrac{5^2}{175} + \dfrac{6^2}{18} + \dfrac{1^2}{7}\right) = 2(0.143 + 2.000 + 0.143) = 4.57\), 자유도 \((2-1)(3-1) = 2\), p = \(e^{-4.57/2} = 0.102\). 테스터 2의 Bin 3이 두 배지만 아직 유의하지 않다(α = 0.05). 자유도 2의 카이제곱은 지수 분포라 p를 \(e^{-\chi^2/2}\)로 바로 구할 수 있다.
3×4 분할표(N = 400)에서 \(\chi^2 = 12.5\)를 얻었다. 크라메르 V는?
\(\min(r, c) - 1 = 2\). \(V = \sqrt{12.5/(400 \times 2)} = 0.125\) — 작은 연관이다.
신규 레티클을 쓴 웨이퍼 4장이 모두 불량이고, 기존 레티클 6장 중 불량은 1장이다. 표 [[4, 0], [1, 5]]에서 "신규 레티클이 불량을 늘린다"는 단측 피셔 검정의 p 값은?
주변 합: 신규 4장, 불량 5장, 전체 10장. 신규 4장이 모두 불량일 확률은 \(\binom54\binom50/\binom{10}4\).
\(a\)는 4보다 클 수 없으므로 \(p = P(a = 4) = \dfrac{5 \times 1}{210} = 0.0238\).
2×2 표 [[12, 8], [5, 15]]의 수정 없는 \(\chi^2\)와 예이츠 수정 \(\chi^2\)를 구하라. α = 0.05에서 결론이 달라지는가?
기대 도수 [[8.5, 11.5], [8.5, 11.5]], \(|O - E| = 3.5\). 수정 없음: \(3.5^2(2/8.5 + 2/11.5) = 12.25 \times 0.4092 = 5.01\)(p = 0.025). 예이츠: \(3.0^2 \times 0.4092 = 3.68\)(p = 0.055). 임계값 3.841을 사이에 두고 결론이 갈린다 — 이런 경계 사례에는 피셔 검정(p = 0.054)을 보고한다.
공정 변경 전후로 같은 웨이퍼 위치 12곳의 면저항을 비교했더니 10곳이 증가, 2곳이 감소했다. 부호 검정의 양측 p 값은?
새 세정 레시피 웨이퍼 3장의 잔류 금속이 5.1, 6.3, 5.8, 기존 레시피 3장이 4.2, 4.9, 4.4(단위 10⁹ atoms/cm²)다. 평균 차를 통계량으로 한 정확한 순열 검정의 양측 p 값은?
이름표 배정은 \(\binom63 = 20\)가지. 관측된 배정은 위 세 값과 아래 세 값으로 완전히 갈린다.
관측 평균 차 1.233은 20가지 배정 중 가장 크다. 반대로 완전히 뒤바뀐 배정이 −1.233. 따라서 \(|T| \ge 1.233\)인 배정은 2개, \(p = 2/20 = 0.1\). 3장씩으로는 아무리 차이가 커도 양측 0.1 아래로 내려갈 수 없다 — 순열 검정을 계획할 때 표본 크기를 먼저 확인해야 하는 이유다.
번인 후 기능 불량이 난 칩 6개와 정상 칩 30개가 있다. 칩마다 웨이퍼 가장자리 다이였는지(예/아니오)를 기록했더니 2×2 표의 가장 작은 기대 도수가 1.8이다. 가장 알맞은 분석은?
범주 × 범주 2×2 표이고 기대 도수가 5보다 훨씬 작으므로 근사가 필요 없는 피셔 정확 검정을 쓴다. 만–휘트니와 KS는 측정값 자료용이다.
누설 전류 200개의 정규 Q–Q 그림이 왼쪽은 기준선에 붙어 있다가 오른쪽 끝으로 갈수록 가파르게 위로 휜다(J자). 가장 알맞은 해석과 조치는?
큰 값들이 정규 예상보다 훨씬 크다 → 양의 왜도. 누설 전류는 로그 정규에 가까워 \(\ln x\)로 바꾸면 직선이 되는 경우가 많다. 아니면 만–휘트니처럼 분포를 가정하지 않는 검정을 쓴다.
개념 확인 퀴즈
카이제곱 적합도 검정의 기각역이 오른쪽 꼬리 하나뿐인 이유는?
제곱합이므로 어느 방향으로 어긋나든 \(\chi^2\)가 커진다. 방향은 이미 통계량 안에서 합쳐졌다. (\(\chi^2\)가 지나치게 작으면 "자료가 너무 잘 맞는다"는 조작 의심의 단서가 될 수는 있다 — 멘델 완두콩 논쟁.)
장비 4대에서 결함을 100개씩 리뷰해 5가지 유형으로 분류했다. 이 분석의 이름과 자유도로 옳은 것은?