Chapter 09

점추정

엔지니어가 정말 알고 싶은 값은 손에 잡히지 않는다. 막두께의 참 평균, 웨이퍼의 결함 밀도 $D_0$, 칩 고장률 $\lambda$가 그렇다. 손에 있는 것은 측정값 몇 개뿐이고, 그것으로 숫자 하나를 만들어야 한다. 측정값에서 숫자를 만드는 규칙을 추정량이라 한다. 같은 규칙이라도 표본을 새로 뽑으면 다른 숫자가 나오니, 추정은 과녁에 다트를 던지는 일과 닮았다. 아래 과녁에서 다트 한 개가 표본 하나로 만든 추정값이다. 좋은 추정량은 다트 구름의 중심이 과녁 한가운데에 있고(편향이 작고) 구름이 좁다(분산이 작다). 이 장에서는 그런 규칙을 고르는 기준을 세우고, 규칙을 만드는 일반적인 방법인 적률법, 최대 가능도, 베이즈 추정을 차례로 다룬다.

위 단추로 추정량을 바꾸고, 흰 원(기준점)을 끌어 본다

모수, 통계량, 추정량, 추정값을 구분한다. 추정량은 표본의 함수라서 그 자체가 확률 변수이고 표본 분포를 가진다는 것을 반복 추출로 확인한다.
편향 $E[\hat\theta] - \theta$를 계산해 불편성을 판정한다. 표본 분산을 $n-1$로 나누는 이유를 자유도로 설명한다.
평균 제곱 오차를 $\mathrm{MSE} = \operatorname{Var}(\hat\theta) + [\mathrm{Bias}]^2$로 분해하고, 편향이 있는 수축 추정량이 MSE에서 이길 수 있음을 보인다.
상대 효율로 평균과 중앙값을 비교하고(정규 자료에서 약 0.64, 꼬리가 두꺼우면 역전), MSE가 0으로 가는 일치 추정량을 판정한다.
적률법으로 지수·균일·감마 분포의 모수를 추정한다.
가능도와 로그 가능도를 세워 최대 가능도 추정량을 유도한다(정규·포아송·지수·중도 절단 수명). 불변성으로 $D_0$, MTTF, FIT를 추정한다.
피셔 정보를 로그 가능도의 곡률로 이해하고, 크라메르–라오 하한 $\operatorname{Var}(\hat\theta) \ge 1/nI(\theta)$로 표준 오차를 어림한다.
베타 사전 분포와 이항 자료로 사후 분포를 구하고, 사후 평균이 사전 평균과 MLE의 가중 평균임을 보인다.

추정량과 추정값

모집단 분포를 정하는 상수를 모수(parameter)라 하고 $\theta$로 쓴다. 정규 분포의 $\mu$와 $\sigma^2$, 포아송 분포의 $\lambda$, 이항 분포의 $p$가 모수다. 모수는 고정된 값이지만 우리는 그 값을 모른다. 8장에서 본 대로 표본 $X_1, \dots, X_n$의 함수를 통계량이라 한다. 모수를 짐작하려고 쓰는 통계량을 추정량(estimator) $\hat\theta = h(X_1, \dots, X_n)$이라 하고, 실제 자료 $x_1, \dots, x_n$을 넣어 얻은 숫자 $h(x_1, \dots, x_n)$을 추정값(estimate)이라 한다. 숫자 하나로 모수를 짐작하므로 이 일을 점추정(point estimation)이라 한다. 다음 장에서는 구간으로 짐작하는 구간 추정을 다룬다.

모집단의 모수 $\theta$(예: 막두께의 참 평균)는 정해져 있지만 모른다.
모집단에서 표본 $n$개를 뽑는다. 뽑기 전의 $X_1, \dots, X_n$은 확률 변수다.
추정량은 표본을 숫자 하나로 바꾸는 규칙이고, 이번 자료를 넣은 결과가 추정값이다.
표본을 다시 뽑으면 추정값이 달라진다. 따라서 추정량 $\hat\theta$는 확률 변수이고, 그 분포가 추정량의 표본 분포다. 추정량이 좋은지 나쁜지는 이 분포를 보고 판단한다.

추정량은 규칙이고 추정값은 그 규칙이 이번 자료에서 내놓은 숫자다. 이 구분은 대문자 $\hat\Theta = h(X_1,\dots,X_n)$와 소문자 $\hat\theta = h(x_1,\dots,x_n)$로 나타내기도 하지만, 이 책에서는 둘 다 $\hat\theta$로 쓰고 맥락으로 구분한다.

같은 모수를 추정하는 규칙은 여러 가지다. 막두께 측정값 9개로 평균 두께 $\mu$를 추정할 때 표본 평균 $\bar X$도 되고, 표본 중앙값도 되고, 가장 작은 값과 가장 큰 값의 가운데인 중간 범위 $(X_{(1)} + X_{(n)})/2$도 된다. 양쪽 끝 몇 개를 버리고 평균하는 절사 평균도 있다. 자료가 잘 행동할 때는 이 값들이 거의 같다. 측정값 하나가 튀면 어떻게 될까?

점을 좌우로 끈다

MINI LAB막두께 측정값 9개(nm)와 네 추정량. 가장 오른쪽 점을 120 nm 쪽으로 끌어 보자. 평균과 중간 범위는 따라 움직이지만 중앙값은 그대로 있고, 절사 평균은 조금만 움직인다. 이상값 하나에 얼마나 흔들리는지가 추정량마다 다르다.

이 예는 자료 한 묶음만 보았다. 추정량을 공정하게 비교하려면 표본을 수없이 다시 뽑아 추정값이 어떻게 흩어지는지 보아야 한다. 아래 시뮬레이터는 평균 100 nm, 표준 편차 4 nm인 정규 모집단에서 표본을 거듭 뽑아 네 추정량의 값을 모두 기록한다. 추정량 단추를 바꾸면 같은 표본들로 만든 그 추정량의 히스토그램이 나온다.

SIMULATOR

추정값의 표본 분포 쌓기

위: 모집단과 이번 표본 · 아래: 쌓인 추정값

추정량

표본 크기 n

뽑기

반복 횟수—

추정값의 평균—

추정값의 표준 편차—

X̄의 이론 SE σ/√n—

자주색 곡선은 모집단 $N(100, 4^2)$(위)과 $\bar X$의 이론 표본 분포 $N(100, 4^2/n)$(아래)이다. 해볼 것: ① 1000번 뽑은 뒤 추정량 단추를 차례로 눌러 보자. 네 히스토그램 모두 중심이 100 근처지만 폭이 다르다. 평균이 가장 좁고 첫 값 $X_1$이 가장 넓다. ② $n$을 5에서 20으로 늘리면 $X_1$을 뺀 세 추정량의 폭이 줄어든다. $X_1$은 $n$과 상관없이 표준 편차가 4 그대로다. ③ 추정값의 표준 편차를 $\sigma/\sqrt n$과 비교해 보자. 평균에서는 거의 같고, 중앙값은 그보다 약 20% 크다.

이 실험에서 판단 기준 두 가지가 보인다. 히스토그램의 중심이 참값에 있는가(편향), 그리고 폭이 얼마나 좁은가(분산)이다. 다음 두 절에서 이 두 기준을 정의하고 하나의 수로 묶는다.

불편성과 표본 분산의 n − 1

추정량의 기댓값과 참값의 차이를 편향(bias)이라 한다.

$$\operatorname{Bias}(\hat\theta) = E[\hat\theta] - \theta$$

모든 $\theta$에서 편향이 0인 추정량, 곧 $E[\hat\theta] = \theta$인 추정량을 불편 추정량(unbiased estimator)이라 한다. 불편성은 추정값 하나가 맞는다는 뜻이 아니다. 표본을 거듭 뽑았을 때 추정값들의 평균이 참값에 맞는다는 뜻이다.

표본 평균은 어떤 모집단에서든 $\mu$의 불편 추정량이다. 기댓값이 선형이어서 $E[\bar X] = \frac1n\sum E[X_i] = \mu$이기 때문이다. 같은 이유로 $X_1$ 하나만 써도, $(X_1 + 2X_2 + X_3)/4$처럼 계수의 합이 1인 가중 평균을 써도 불편이다. 따라서 불편 추정량은 여러 개 있고, 불편성만으로는 추정량을 고를 수 없다. 표본 비율 $\hat p = X/n$도 $E[\hat p] = p$이므로 불편이다.

분산은 사정이 다르다. 편차 제곱의 평균을 그대로 쓰는 추정량 $S_n^2 = \frac1n\sum(X_i - \bar X)^2$을 생각하자. 직관적이지만 평균적으로 $\sigma^2$보다 작게 나온다. 얼마나 작을지 먼저 예측해 보자.

정규 모집단($\sigma^2 = 4$)에서 크기 $n = 4$인 표본을 수천 번 뽑아 $n$으로 나눈 분산 $S_n^2$을 계산하고 평균을 내면 어떤 값에 가까울까?

$E[S_n^2] = \frac{n-1}{n}\sigma^2 = 3$이다. 반복 횟수를 늘려도 이 값으로 수렴할 뿐 4에 가까워지지 않는다. 표본 하나의 크기 $n$이 작은 것이 원인이고, 반복 횟수와는 관계없다. $n - 1$로 나눈 $S^2$는 평균이 정확히 4가 된다. 아래에서 확인하자.

SIMULATOR

n으로 나눌까, n − 1로 나눌까

실행 평균의 수렴

두 추정값의 분포

표본 크기 n

모집단 (σ² = 4)

뽑기

반복 횟수—

S² 평균 (n − 1)—

S_n² 평균 (n)—

이론 (n−1)σ²/n—

S 평균 (이론 c₄σ)—

초록은 $S^2$($n-1$로 나눔), 주황은 $S_n^2$($n$으로 나눔), 점선은 참값 $\sigma^2 = 4$이다. 정규 모집단에서는 오른쪽에 $(n-1)S^2/\sigma^2 \sim \chi^2_{n-1}$에서 나온 이론 곡선(자주)을 겹친다. 해볼 것: ① $n = 2$에서 1000번 뽑아 보자. $S_n^2$의 평균이 2(참값의 절반)로 간다. ② 모집단을 지수나 균일로 바꿔도 $S^2$의 평균은 4로 간다. 불편성에는 정규성이 필요 없다. ③ $S$의 평균은 2보다 조금 작다. $S^2$가 불편이어도 그 제곱근 $S$는 $\sigma$를 작게 추정한다.

왜 n − 1인가: 자유도

원인은 편차를 참 평균 $\mu$가 아니라 같은 자료로 구한 $\bar X$에서 잰다는 데 있다. $\bar X$는 자료의 한가운데로 끌려가 있으므로 $\sum(X_i - \bar X)^2$는 $\sum(X_i - \mu)^2$보다 언제나 작거나 같다. 아래 그림에서 단계를 따라가 보자.

측정값 97, 99, 103의 표본 평균은 99.67이다.
표본 평균에서 잰 편차는 합이 늘 0이다. $\sum(x_i - \bar x) = \sum x_i - n\bar x = 0$.
그래서 편차 $n$개 가운데 자유롭게 정해지는 것은 $n-1$개다. 이 수를 자유도(degrees of freedom)라 한다. 평균 하나를 자료로 추정하느라 자유도 하나를 썼다.
참 평균 $\mu$에서 재면 제곱합이 $n(\bar x - \mu)^2$만큼 더 크다. 이 항의 기댓값이 $n\cdot\sigma^2/n = \sigma^2$이므로, $\bar x$에서 잰 제곱합의 기댓값은 $n\sigma^2 - \sigma^2 = (n-1)\sigma^2$이다.

자유도. $\bar X$는 자료에 가장 가깝도록 놓인 점이라 제곱합을 최소로 만든다. 그만큼 덜 흩어져 보이는 것을 $n-1$로 나누어 보정한다.

4단계의 항등식 $\sum(X_i - \mu)^2 = \sum(X_i - \bar X)^2 + n(\bar X - \mu)^2$의 양변에 기댓값을 취하면 다음을 얻는다.

$$E\Big[\sum_{i=1}^n (X_i - \bar X)^2\Big] = n\sigma^2 - n\cdot\frac{\sigma^2}{n} = (n-1)\sigma^2 \quad\Longrightarrow\quad E[S^2] = \sigma^2,\qquad E[S_n^2] = \frac{n-1}{n}\sigma^2$$

이 계산에는 독립성과 $\operatorname{Var}(\bar X) = \sigma^2/n$만 쓰였고 정규성은 쓰이지 않았다. 따라서 $S^2 = \frac{1}{n-1}\sum(X_i - \bar X)^2$는 분산이 유한한 모든 모집단에서 $\sigma^2$의 불편 추정량이다. 반면 $S_n^2$의 편향은 $-\sigma^2/n$이고, $n$이 커지면 0으로 간다.

표본 크기 5, 모분산 4.0이면 $n$으로 나눈 분산의 기댓값은 이고 편향은 (참값의 )이다. 불편인 $S^2$의 제곱근 $S$도 $\sigma$ = 를 평균 로 작게 본다($c_4$ = ).

마지막 줄의 $c_4$는 정규 모집단에서 $E[S] = c_4\sigma$를 만족하는 상수다. $c_4 = \sqrt{2/(n-1)}\,\Gamma(n/2)/\Gamma((n-1)/2)$이고 $n = 5$에서 0.9400, $n = 25$에서 0.9896이다. 제곱근이 오목 함수여서 $E[\sqrt{S^2}] < \sqrt{E[S^2]}$이 되기 때문이다(옌센 부등식). 일반적으로 $\hat\theta$가 $\theta$의 불편 추정량이어도 $g(\hat\theta)$는 $g(\theta)$의 불편 추정량이 아니다.

아래 실험은 이 사실을 시뮬레이션 없이 정확하게 보여 준다. 값이 세 개뿐인 모집단에서 크기 2인 표본(복원 추출)은 9가지뿐이므로, 모든 표본을 나열해 평균을 내면 기댓값이 정확히 나온다.

위쪽 흰 점 세 개를 끈다

MINI LAB모집단 $\{a, b, c\}$(각 확률 1/3)에서 가능한 표본 9개와 그 $S^2$. 모집단 값을 어떻게 끌어도 9개 $S^2$의 평균은 모분산 $\sigma^2 = \frac13\sum(v - \mu)^2$과 정확히 같고, $n$으로 나눈 값의 평균은 정확히 그 절반이다.

한 웨이퍼의 다섯 위치에서 막두께를 재어 101.2, 98.7, 100.4, 102.1, 99.1 nm를 얻었다. 표본 평균, 표본 분산 $S^2$, 표본 표준 편차 $S$, $n$으로 나눈 분산 $S_n^2$을 구하라. 정규 모집단을 가정하고 $c_4$로 보정한 $\sigma$의 불편 추정값 $S/c_4$도 구하라($c_4(5) = 0.9400$).

풀이 보기

전략 편차 제곱합을 구한 뒤 $n-1$과 $n$으로 각각 나눈다.

풀이 $\bar x = 501.5/5 = 100.3$ nm. 편차는 0.9, −1.6, 0.1, 1.8, −1.2이고 제곱합은 $0.81 + 2.56 + 0.01 + 3.24 + 1.44 = 8.06$이다. $S^2 = 8.06/4 = 2.015$ nm², $S = 1.4195$ nm, $S_n^2 = 8.06/5 = 1.612$ nm². $S/c_4 = 1.4195/0.9400 = 1.510$ nm.

$\bar x = 100.3$ nm, $S^2 = 2.015$ nm², $S = 1.42$ nm, $S_n^2 = 1.61$ nm², $S/c_4 = 1.51$ nm

검토 $S_n^2/S^2 = 4/5$로 $n - 1$과 $n$의 비와 같다. $n = 5$에서는 차이가 20%나 되지만 $n = 100$이면 1%로 줄어든다. 공정 산포를 작은 표본으로 볼 때일수록 나눗수를 정확히 써야 한다.

관리도는 σ를 $\bar s/c_4$나 $\bar R/d_2$로 추정한다 $\bar X$–$s$ 관리도는 부분군(보통 4–5개 측정값)마다 $S$를 구해 평균 $\bar s$를 내는데, $S$가 $\sigma$를 작게 보므로 공정 표준 편차를 $\hat\sigma = \bar s/c_4$로 추정한다. $n = 5$라면 $c_4 = 0.940$이므로 보정하지 않으면 $\sigma$를 6% 작게 보고, 관리 한계가 그만큼 좁아져 거짓 경보가 는다. $\bar X$–$R$ 관리도의 $\hat\sigma = \bar R/d_2$도 같은 생각으로, 범위 $R$의 기댓값 $d_2\sigma$로 나누어 편향을 없앤다. 16장에서 이 상수들을 다시 쓴다. 팹의 계측과 SPC 화면이 어떻게 연결되는지는 → ProcessBook · 계측·결함·수율(SPC: 숫자로 공정을 지키기)

평균 제곱 오차와 편향–분산 분해

불편 추정량이라도 흩어짐이 크면 쓸모가 적다. $X_1$ 하나만 쓰는 추정량은 불편이지만 표본을 아무리 많이 모아도 나머지를 버린다. 반대로 약간 편향되어 있어도 흩어짐이 아주 작다면 실제로는 더 자주 참값 가까이에 떨어진다. 두 성질을 한 번에 재는 척도가 평균 제곱 오차(mean squared error, MSE)다.

편향과 분산. 과녁 중심(자주)이 참값 $\theta$, 점 하나가 표본 하나로 얻은 추정값이다. 측정 장비로 말하면 편향은 정확도(accuracy)의 반대, 분산은 정밀도(precision)의 반대다. 둘째와 셋째 과녁 가운데 어느 쪽이 나은지는 MSE로 판정한다.

$$\mathrm{MSE}(\hat\theta) = E\big[(\hat\theta - \theta)^2\big] = \operatorname{Var}(\hat\theta) + \big[\operatorname{Bias}(\hat\theta)\big]^2$$

$\hat\theta - \theta = (\hat\theta - E[\hat\theta]) + (E[\hat\theta] - \theta)$로 나누어 제곱하면 교차항의 기댓값이 $E[\hat\theta - E\hat\theta] = 0$이어서 사라진다. 불편 추정량이면 MSE가 곧 분산이다. $\sqrt{\mathrm{MSE}}$는 RMSE라 하며 추정값이 참값에서 전형적으로 얼마나 벗어나는지를 원래 단위로 나타낸다. 추정량의 표준 편차 $\sqrt{\operatorname{Var}(\hat\theta)}$는 표준 오차(standard error)라 부른다(8장).

편향–분산 분해. 곡선은 추정량의 표본 분포다. MSE는 참값 $\theta$에서 잰 평균 제곱 거리이고, 분포의 중심이 어긋난 몫(편향²)과 중심 둘레로 퍼진 몫(분산)으로 나뉜다.

$X_1, X_2, X_3$이 평균 $\mu = 4$, 분산 $\sigma^2 = 12$인 모집단의 확률 표본이다. 다음 세 추정량의 편향, 분산, MSE를 구하라. $\hat\theta_1 = \bar X$, $\hat\theta_2 = (X_1 + 2X_2 + X_3)/4$, $\hat\theta_3 = (X_1 + X_2 + X_3)/4$.

풀이 보기

전략 선형 결합 $\sum a_iX_i$의 기댓값은 $\mu\sum a_i$, 분산은 $\sigma^2\sum a_i^2$이다(6장).

풀이 $\hat\theta_1$: 계수 합 1, $\sum a_i^2 = 3/9$ → 편향 0, 분산 $12/3 = 4$, MSE 4. $\hat\theta_2$: 계수 합 1, $\sum a_i^2 = 6/16$ → 편향 0, 분산 4.5, MSE 4.5. $\hat\theta_3$: 계수 합 3/4 → 편향 $-\mu/4 = -1$, 분산 $12\cdot3/16 = 2.25$, MSE $2.25 + 1 = 3.25$.

MSE: $\hat\theta_1 = 4$, $\hat\theta_2 = 4.5$, $\hat\theta_3 = 3.25$

검토 불편 추정량 둘 가운데서는 $\bar X$가 낫다(계수가 고를수록 분산이 작다). 그런데 편향이 있는 $\hat\theta_3$이 MSE에서는 이겼다. 다만 이것은 $\mu = 4$일 때 이야기다. $\mu = 10$이면 편향² 이 6.25가 되어 진다. 편향이 있는 추정량의 성적은 모르는 $\mu$에 달려 있다.

마지막 추정량은 $\bar X$를 0 쪽으로 줄인 수축 추정량(shrinkage estimator) $c\bar X$($c = 3/4$)이다. 일반적인 $c$에서 편향은 $(c-1)\mu$, 분산은 $c^2\sigma^2/n$이므로

$$\mathrm{MSE}(c\bar X) = (1-c)^2\mu^2 + c^2\frac{\sigma^2}{n},\qquad c^* = \frac{\mu^2}{\mu^2 + \sigma^2/n},\qquad \mathrm{MSE}_{\min} = \frac{\mu^2\,\sigma^2/n}{\mu^2 + \sigma^2/n} < \frac{\sigma^2}{n}$$

$c$를 1에서 조금 줄이면 편향² 은 $(1-c)^2$로 아주 천천히 늘지만 분산은 $c^2$으로 곧바로 준다. 그래서 최적점 $c^*$는 언제나 1보다 작다. 다만 $c^*$가 모르는 $\mu$에 달려 있어 그대로 쓸 수는 없다. 여러 평균을 한꺼번에 추정할 때 이 아이디어를 자료로 실현한 것이 제임스–스타인 추정량이고, 9.9절의 베이즈 사후 평균도 같은 수축이다.

참 평균 $\mu$ = 2.0, 표준 편차 $\sigma$ = 3.0, 표본 크기 5에서 수축 계수 0.80을 쓰면 편향² = , 분산 = , MSE = 로 $\bar X$의 MSE 보다 . 최적 계수는 $c^*$ = 이고 그때 MSE는 이다.

SIMULATOR

편향–분산 실험실: MSE 바닥 찾기

c·X̄ 추정값 분포와 MSE 막대

흰 원을 좌우로 끌어 c를 바꾼다

이론 곡선 보이기

표본 쌓기

문제—

수축 계수 c—

모의 편향² + 분산—

X̄(c = 1)의 MSE—

과녁—

왼쪽은 표본마다 얻은 $c\bar X$를 쌓은 히스토그램과, 그 모의 MSE를 편향²(빨강)과 분산(초록)으로 쌓은 막대다. 오른쪽에는 지금까지 시도한 $c$에서의 모의 MSE가 점으로 남는다. 같은 표본들의 $\bar X$에 $c$만 곱하므로 점들이 매끄러운 곡선을 그린다. 과녁: 이론 곡선을 숨긴 채 $c$를 옮겨 가며 MSE가 가장 작은 곳을 찾고 "판정"을 누른다. 이론 최솟값의 2% 이내면 성공이다. 해볼 것: ① $c$를 1에서 0.9로 줄이면 빨간 막대는 거의 그대로인데 초록 막대가 확 준다. ② $c$를 0 근처로 끌면 분산은 사라지지만 편향² 이 $\mu^2$이 된다. ③ 새 문제에서 $\mu$가 크고 $\sigma^2/n$이 작으면 바닥이 $c = 1$ 가까이에 있다. 수축의 이득은 잡음이 신호에 비해 클 때 크다.

계측기의 오프셋 $\mu$를 기준 시편을 8번 재서 추정한다. 반복 측정의 표준 편차는 $\sigma = 2$ nm이고, 과거 경험상 오프셋은 0.5 nm 안팎으로 작다. $\mu = 0.5$라고 할 때 $\bar X$와 최적 수축 추정량 $c^*\bar X$의 MSE를 비교하라.

풀이 보기

전략 $\sigma^2/n$과 $\mu^2$을 비교해 $c^*$를 구한다.

풀이 $\sigma^2/n = 4/8 = 0.5$, $\mu^2 = 0.25$. $\mathrm{MSE}(\bar X) = 0.5$ nm². $c^* = 0.25/(0.25 + 0.5) = 1/3$, $\mathrm{MSE}_{\min} = 0.25\times0.5/0.75 = 0.167$ nm².

$\mathrm{MSE}(\bar X) = 0.50$ nm², $c^* = 0.333$, $\mathrm{MSE}(c^*\bar X) = 0.167$ nm² (RMSE 0.71 → 0.41 nm)

검토 잡음($\sigma/\sqrt n = 0.71$ nm)이 신호(0.5 nm)보다 크니 0 쪽으로 세게 줄이는 편이 낫다. 실제로는 $\mu$를 모르므로 "오프셋은 0 근처"라는 사전 지식을 베이즈 추정(9.9절)으로 넣는 것이 정석이다.

효율성과 일치성

불편 추정량 둘을 비교할 때는 분산이 작은 쪽이 낫다. 두 불편 추정량의 상대 효율(relative efficiency)을 분산의 비로 정의한다.

$$\operatorname{eff}(\hat\theta_1 \text{ 대비 } \hat\theta_2) = \frac{\operatorname{Var}(\hat\theta_1)}{\operatorname{Var}(\hat\theta_2)}$$

이 값이 1보다 작으면 $\hat\theta_2$가 덜 효율적이다. 분산이 $1/n$에 비례할 때 상대 효율 0.64는 "$\hat\theta_2$로 같은 정밀도를 얻으려면 표본이 $1/0.64 = 1.57$배 필요하다"는 뜻이다. 편향이 있는 추정량끼리는 MSE의 비로 비교한다.

정규 모집단에서 표본 중앙값의 분산은 $n$이 클 때 $\pi\sigma^2/(2n)$이다. 따라서 평균 대비 중앙값의 효율은 $2/\pi \approx 0.637$이다. 중앙값은 자료의 순위만 쓰고 크기 정보를 버리기 때문이다. 그러나 꼬리가 두꺼운 모집단에서는 사정이 뒤집힌다.

측정값의 95%는 정상이지만 5%는 장비 오류로 표준 편차가 10배인 '오염 정규' 자료가 있다. $n = 15$로 표본을 거듭 뽑을 때, 평균과 중앙값 가운데 분산이 작은 것은?

오염 정규의 분산은 $0.95 + 0.05\times100 = 5.95$여서 $\bar X$의 분산은 $5.95/n$이다. 중앙값은 가운데 순위만 보므로 거의 $N(0,1)$일 때처럼 행동해 분산이 약 $1.72/n$이다. 효율은 약 3.5배 차이 난다. 아래 시뮬레이터에서 모집단을 바꿔 가며 확인하자.

SIMULATOR

평균 대 중앙값: 효율 경주

위: 모집단과 이번 표본 · 아래: 두 추정량의 분포

모집단

표본 크기 n

뽑기

반복 횟수—

Var(평균)—

Var(중앙값)—

효율 Var(평균)/Var(중앙값)—

큰 n 이론값—

초록은 표본 평균, 주황은 표본 중앙값의 히스토그램이다. 효율이 1보다 크면 중앙값이 더 정밀하다. 해볼 것: ① 정규에서 1000번 뽑으면 효율이 0.64–0.66 근처다($n$이 작으면 $2/\pi$보다 조금 크다). ② t₃와 오염 정규로 바꾸면 효율이 1.5, 3.5 근처로 역전된다. 평균의 히스토그램에 긴 꼬리가 생기는 것을 보자. ③ 위 그림에서 이번 표본의 튀는 점(빨강)이 평균(초록 선)을 얼마나 끌고 가는지 보자.

모든 불편 추정량 가운데 분산이 가장 작은 것을 최소 분산 불편 추정량(minimum variance unbiased estimator, MVUE)이라 한다. 정규 모집단에서 $\bar X$는 $\mu$의 MVUE다. 9.8절의 크라메르–라오 하한은 불편 추정량의 분산이 그보다 작아질 수 없는 바닥을 주므로, 어떤 추정량이 그 바닥에 닿으면 MVUE임을 바로 알 수 있다.

일치성

표본을 늘릴수록 추정량이 참값으로 모여야 한다. 표본 크기 $n$이 커질 때 모든 $\varepsilon > 0$에 대해 $P(|\hat\theta_n - \theta| > \varepsilon) \to 0$이면 $\hat\theta_n$을 일치 추정량(consistent estimator)이라 한다. 7장의 체비쇼프 부등식을 $\hat\theta_n$에 쓰면 쉬운 충분조건이 나온다.

$$P(|\hat\theta_n - \theta| \ge \varepsilon) \le \frac{E[(\hat\theta_n - \theta)^2]}{\varepsilon^2} = \frac{\mathrm{MSE}(\hat\theta_n)}{\varepsilon^2}$$

따라서 $\mathrm{MSE} \to 0$, 곧 편향과 분산이 모두 0으로 가면 일치 추정량이다. $\bar X$(분산 $\sigma^2/n$), $S^2$와 $S_n^2$(편향 $-\sigma^2/n$도 0으로 감)는 일치 추정량이다. $X_1$은 불편이지만 분산이 $\sigma^2$에서 줄지 않아 일치 추정량이 아니다. 불편성과 일치성은 서로 다른 성질이다.

MINI LAB지수 분포 수명(평균 1000 h)에서 표본 400묶음을 뽑아 만든 추정량의 분포. $n$이 커지면 $\bar X$의 분포가 참값 둘레 ±100 h 띠 안으로 오그라들고 띠 밖 비율이 0으로 간다. $X_1$로 바꾸면 $n$을 아무리 키워도 분포가 그대로다.

표준 편차 4.0 nm인 공정에서 평균 두께를 오차 1.0 nm 이내로 잡고 싶다. 표본 50개의 $\bar X$가 그보다 벗어날 확률은 체비쇼프 부등식으로 많아야 이고, 정규 근사로는 이다. 체비쇼프 상한을 5%로 보장하려면 $n \ge$ 이 필요하다.

체비쇼프 상한은 분포를 모를 때도 쓸 수 있지만 매우 보수적이다. 정규 근사(중심 극한 정리)가 같은 질문에 훨씬 작은 확률을 준다. 일치성의 판정에는 상한이 0으로 간다는 사실만 있으면 된다.

적률법

지금까지는 주어진 추정량을 평가했다. 이제 추정량을 만드는 방법을 보자. 가장 오래된 방법인 적률법(method of moments)은 모집단 적률을 표본 적률과 같다고 놓고 모수에 대해 푼다.

$$\mu_k(\theta) = E[X^k] \;\overset{\text{놓기}}{=}\; M_k = \frac1n\sum_{i=1}^n X_i^k,\qquad k = 1, 2, \dots, (\text{모수 개수})$$

모수가 하나면 $E[X] = \bar X$ 하나로, 둘이면 둘째 적률까지 쓴다. 둘째 적률 대신 분산을 맞추어도 같다: $\operatorname{Var}(X) = M_2 - M_1^2 = S_n^2$($n$으로 나눈 분산). 큰 수의 법칙에 따라 $M_k \to \mu_k$이므로 적률법 추정량은 보통 일치 추정량이다.

모집단	적률 식	적률법 추정량
$\mathrm{Poisson}(\lambda)$	$E[X] = \lambda$	$\hat\lambda = \bar X$
$\mathrm{Exp}(\lambda)$	$E[X] = 1/\lambda$	$\hat\lambda = 1/\bar X$
균일 $(0, \theta)$	$E[X] = \theta/2$	$\hat\theta = 2\bar X$
$N(\mu, \sigma^2)$	$E[X] = \mu,\ \operatorname{Var}(X) = \sigma^2$	$\hat\mu = \bar X,\ \hat\sigma^2 = S_n^2$
$\mathrm{Gamma}(k, \theta)$	$E[X] = k\theta,\ \operatorname{Var}(X) = k\theta^2$	$\hat\theta = S_n^2/\bar X,\ \hat k = \bar X^2/S_n^2$

감마 분포는 대기 시간, 누설 전류, 입자 크기처럼 양수이고 오른쪽으로 치우친 자료에 자주 쓴다. 평균과 분산 두 숫자로 모양 $k$와 척도 $\theta$가 정해지니, 적률법은 곧 "평균과 분산이 자료와 같은 감마 곡선 고르기"다. 아래에서 손으로 직접 해 보자.

SIMULATOR

적률 맞추기: 감마 곡선을 자료에 겹치기

◆ 평균 손잡이, ● 표준 편차 손잡이를 끈다

최대 가능도 곡선도 보기

자료 평균 · S_n—

곡선 평균 kθ · 표준 편차 √k θ—

곡선 모수 k · θ—

로그 가능도—

과녁—

초록 히스토그램은 번인 전에 잰 칩 60개의 누설 전류(nA)다. 자주색 곡선은 내가 고른 감마 분포다. 과녁: 곡선의 평균과 표준 편차를 자료의 $\bar x$, $S_n$과 각각 2% 이내로 맞추면 성공이다. 그때의 $k$, $\theta$가 적률법 추정값이다. 해볼 것: ① 평균만 맞추고 표준 편차를 줄이거나 키우면 곡선이 뾰족해지거나 넓어진다. ② 성공한 뒤 "최대 가능도 곡선"을 켜 보자. 점선(MLE)은 적률법과 조금 다르고 로그 가능도가 조금 더 크다. 9.6절에서 이유를 본다. ③ 새 자료를 몇 번 뽑으면 $\hat k$가 참값 4 둘레에서 꽤 흔들린다. 모양 모수는 60개로도 정밀하게 잡히지 않는다.

누설 전류 자료의 표본 평균이 10.4 nA, $n$으로 나눈 분산이 27.04 nA²이면 감마 분포의 적률법 추정값은 척도 $\hat\theta$ = , 모양 $\hat k$ = 이다. 분산을 평균과 같게 하면 $\hat\theta = 1$ nA가 되고, 분산을 평균의 제곱과 같게 하면 $\hat k = 1$, 곧 지수 분포가 된다. 지금 변동 계수 $S_n/\bar x$ = .

칩 40개의 누설 전류를 재어 표본 평균 $\bar x = 10.4$ nA, $n$으로 나눈 분산 $s_n^2 = 27.04$ nA²을 얻었다. 감마 분포 $\mathrm{Gamma}(k, \theta)$를 가정하고 적률법으로 $k$와 $\theta$를 추정하라. 추정한 분포에서 누설 전류가 20 nA를 넘을 확률은? (감마 꼬리 확률은 계산기로 구한다.)

풀이 보기

전략 $k\theta = \bar x$, $k\theta^2 = s_n^2$를 연립한다. 둘째 식을 첫째 식으로 나누면 $\theta$가 나온다.

풀이 $\hat\theta = s_n^2/\bar x = 27.04/10.4 = 2.60$ nA, $\hat k = \bar x/\hat\theta = 10.4/2.60 = 4.00$. $P(X > 20) = 1 - F(20; 4, 2.6) = 0.0521$.

$\hat k = 4.00$, $\hat\theta = 2.60$ nA, $P(X > 20) \approx 0.052$

검토 $\hat k\theta = 10.4$, $\hat k\hat\theta^2 = 27.04$로 두 적률이 맞는다. 꼬리 확률은 모양 모수에 민감하므로 실제 불량률 예측에는 더 정밀한 MLE와 구간 추정을 쓴다.

적률법은 계산이 쉽지만 약점도 있다. 균일 분포 $(0, \theta)$에서 $\hat\theta = 2\bar X$는 불편이지만, 자료의 최댓값보다 작은 값을 내놓을 수 있다. 측정값 하나가 이미 $\theta$보다 작을 수 없다는 사실을 무시하는 셈이다.

MINI LAB균일 $(0, 10)$에서 뽑은 $n$개(초록 점)와 적률법 추정값 $2\bar x$(자주 선), 최댓값 $x_{(n)}$(회색 선). 빨강 표시는 $2\bar x < x_{(n)}$, 곧 자료와 모순되는 추정값이 나온 경우다. $n = 5$에서 약 20%, $n = 10$에서 약 28%로 오히려 늘어난다.

최대 가능도 추정

적률법이 "적률이 맞는 모수"를 고른다면, 최대 가능도 추정은 "이 자료가 나올 확률이 가장 큰 모수"를 고른다. 자료 $x_1, \dots, x_n$이 이미 관측되었다고 하자. 독립인 표본의 결합 밀도(또는 확률)를 모수의 함수로 본 것을 가능도 함수(likelihood function)라 한다.

$$L(\theta) = \prod_{i=1}^n f(x_i;\theta),\qquad \ell(\theta) = \ln L(\theta) = \sum_{i=1}^n \ln f(x_i;\theta)$$

$\ell(\theta)$를 로그 가능도(log-likelihood)라 한다. 로그는 증가 함수이므로 $L$과 $\ell$은 같은 곳에서 최대가 된다. 곱이 합으로 바뀌어 미분하기 쉽고, 수많은 작은 확률의 곱이 컴퓨터에서 0으로 뭉개지는(언더플로) 문제도 피한다. $L(\theta)$를 최대로 만드는 $\hat\theta$가 최대 가능도 추정량(maximum likelihood estimator, MLE)이다.

같은 식 $f(x;\lambda) = \lambda e^{-\lambda x}$를 두 방향으로 읽는다. 왼쪽은 $\lambda$를 고정한 확률 밀도(넓이 1), 오른쪽은 자료 $x = 0.4, 0.7, 0.9, 1.1, 2.3$을 고정한 가능도다. $\lambda = 1$일 때 다섯 점선 높이의 곱이 $\lambda = 0.5$나 2일 때보다 크고, 꼭대기는 $\hat\lambda = 5/5.4 = 0.926$에 있다. 가능도는 $\lambda$에 대한 밀도가 아니어서 넓이가 1이 아니다(그림은 꼭대기를 맞춰 그렸다).

가능도가 매끄러우면 미분해서 0이 되는 점을 찾는다. 이 방정식 $\ell'(\theta) = 0$을 가능도 방정식이라 한다. 지수 분포 고장 시간으로 순서를 따라가 보자.

독립인 관측의 밀도를 곱한다.
로그를 취하면 곱이 합이 된다. 오른쪽 곡선은 앞 그림의 자료로 그린 $\ell(\lambda)$다.
$\lambda$로 미분해 0으로 놓는다. 꼭대기에서 접선이 수평이다.
풀면 $\hat\lambda = n/\sum x_i = 1/\bar x$. 적률법과 같은 답이다.
이계 도함수가 음수이므로 극대이고 유일한 극값이니 최대다. 꼭대기의 곡률 $n/\hat\lambda^2$은 9.8절에서 정밀도를 알려 주는 피셔 정보가 된다.

최대 가능도 추정의 표준 순서. 대부분의 교과서 문제는 이 다섯 단계로 풀린다.

같은 순서로 자주 쓰는 MLE를 얻는다. 포아송 $\ell(\lambda) = \sum x_i\ln\lambda - n\lambda - \sum\ln x_i!$에서 $\hat\lambda = \bar X$. 베르누이 $\ell(p) = x\ln p + (n-x)\ln(1-p)$에서 $\hat p = x/n$. 정규 분포는 두 모수로 편미분해 연립하면

$$\hat\mu = \bar X,\qquad \hat\sigma^2 = \frac1n\sum_{i=1}^n (X_i - \bar X)^2 = S_n^2$$

정규 분포의 $\sigma^2$에 대한 MLE는 $n$으로 나눈 분산이므로 편향이 있다. MLE가 늘 불편인 것은 아니다. 다만 편향은 $-\sigma^2/n$으로 $n$이 커지면 사라진다.

아래 탐험기에서 가능도를 손으로 만져 보자. 자료 점을 끌면 가능도 곡선이 바뀌고, $\theta$ 손잡이를 끌면 그 값에서 각 자료의 밀도(점선 막대)가 바뀐다. 막대 높이의 곱이 가장 커지는 곳이 MLE다.

SIMULATOR

가능도 탐험기

자료 점(초록)을 끈다

흰 원을 끌어 θ를 바꾼다

모형

로그 가능도로 보기

현재 θ—

ℓ(θ)—

MLE θ̂—

가능도 비 L(θ)/L(θ̂)—

왼쪽: 자료(초록)와 현재 $\theta$의 분포(자주). 점선 막대 높이가 $f(x_i;\theta)$이다. 오른쪽: $\ell(\theta)$ 또는 $L(\theta)$ 곡선과 현재 위치, MLE(초록 점선). 해볼 것: ① 정규 모형에서 자료 점 하나를 멀리 끌면 MLE(= $\bar x$)가 따라간다. ② 포아송에서 MLE는 웨이퍼당 결함 수의 평균이다. 결함이 0개인 웨이퍼를 하나 더 만들면(점을 0으로) MLE가 준다. ③ 지수 모형에서 긴 수명 하나를 더 길게 끌면 $\hat\lambda$가 작아진다. 로그 가능도를 끄면 $L(\theta)$가 아주 작은 수라는 것이 보인다.

모수 두 개: 가능도 곡면

모수가 둘이면 로그 가능도는 $(\mu, \sigma)$ 평면 위의 곡면이고, MLE는 그 산의 꼭대기다. 실제 모형(와이블, 감마, 회귀)에서는 꼭대기를 식으로 풀 수 없어 컴퓨터가 경사를 따라 오른다. 아래에서 등고선 지도를 보며 직접 정상을 찾아보자.

SIMULATOR

로그 가능도 곡면 등반

흰 원을 끌어 (μ, σ)를 옮긴다

높이 색칠

현재 (μ, σ)—

ℓ(μ, σ)—

정상까지 Δℓ—

이동 횟수—

과녁—

게이트 산화막 두께(Å) 측정값 12개의 정규 로그 가능도 $\ell(\mu, \sigma)$. 등고선은 정상에서 0.5, 2, 4.5, 8, 12.5만큼 낮은 높이다($\Delta\ell = k^2/2$이므로 정규 근사에서 한 모수의 $k$σ 폭에 해당). 과녁: 정답을 보지 않고 $\Delta\ell < 0.05$인 곳까지 가면 성공이다. 손을 뗄 때마다 이동 횟수가 하나씩 는다. 해볼 것: ① 등고선이 $\sigma$ 방향으로 비대칭이다. 작은 $\sigma$ 쪽이 가파르다. ② "경사 따라 오르기"는 기울기 방향으로 조금씩 움직이는 경사 상승법이다. 기울기는 등고선에 수직이라 경로가 등고선을 직각으로 가로지르며 휘어 오른다. ③ 정답을 본 뒤 비교하면 정상의 $\hat\sigma = S_n$은 회색 점 $(\bar x, S)$보다 조금 아래에 있다.

불변성: 모수의 함수도 그대로 추정한다

MLE에는 편리한 성질이 있다. $\hat\theta$가 $\theta$의 MLE이면 어떤 함수 $g$에 대해서도 $g(\hat\theta)$가 $g(\theta)$의 MLE다. 이것을 MLE의 불변성(invariance property)이라 한다. 고장률의 MLE가 $\hat\lambda$이면 평균 수명 MTTF의 MLE는 $1/\hat\lambda$, 시간 $t$까지의 신뢰도 $R(t) = e^{-\lambda t}$의 MLE는 $e^{-\hat\lambda t}$다. 수율에서 결함 밀도를 얻는 것도 같은 원리다. 다이 $N$개 중 $G$개가 양품이면 수율의 MLE는 $\hat Y = G/N$이고, 포아송 수율 모형 $Y = e^{-D_0A}$를 거꾸로 풀어 $\hat D_0 = -\ln\hat Y/A$가 $D_0$의 MLE다.

웨이퍼 8장을 검사해 면적 50 cm²의 검사 영역에서 결함을 12, 7, 9, 15, 10, 8, 11, 13개 셌다. 웨이퍼당 결함 수가 $\mathrm{Poisson}(D_0A)$를 따른다고 할 때 결함 밀도 $D_0$의 MLE를 구하라. 다이 면적 0.5 cm²인 제품의 포아송 수율 MLE는?

풀이 보기

전략 $\lambda = D_0A$의 MLE는 $\bar x$이고, 불변성으로 $\hat D_0 = \bar x/A$, $\hat Y = e^{-\hat D_0 A_{\text{die}}}$이다.

풀이 $\sum x_i = 85$, $\bar x = 10.625$. $\hat D_0 = 10.625/50 = 0.2125$ 개/cm². $\hat Y = e^{-0.2125\times0.5} = e^{-0.106} = 0.899$.

$\hat D_0 = 0.213$ 개/cm², $\hat Y = 0.899$

검토 결함 수의 분산이 평균과 같다면 $\hat D_0$의 표준 오차는 $\sqrt{\bar x/n}/A = \sqrt{10.625/8}/50 = 0.023$(9.8절)이다. 실제 웨이퍼 사이 결함 수는 뭉쳐서 분산이 평균보다 큰 경우가 많고, 그때는 음이항 모형을 쓴다(17장).

$D_0$는 재는 값이 아니라 추정하는 값이다 수율 엔지니어는 웨이퍼 정렬 테스트 결과(양품 다이 수)에서 결함 밀도를 거꾸로 푼다. 다이 0.52 cm², 520개 중 458개 양품이면 $\hat Y = 0.881$, $\hat D_0 = -\ln0.881/0.52 = 0.244$ 개/cm²다. 이것이 MLE의 불변성이다. 그러나 수율 한 점으로는 $D_0$ 하나밖에 얻지 못하고, 계통 불량이 섞이면 그 몫까지 $D_0$에 얹혀 과대 추정된다. 다이를 2개, 4개씩 묶어 면적이 다른 수율 점을 여러 개 만드는 윈도 방법으로 군집 모수까지 함께 추정한다. → YieldBook · 결함 밀도와 수율 모델(D₀ 추정: 수율에서 거꾸로)

중도 절단된 수명 자료

수명 시험은 모든 소자가 고장 날 때까지 기다리지 않는다. $n$개를 시간 $t_0$까지 시험해 $r$개가 $t_1, \dots, t_r$에서 고장 나고 나머지 $n - r$개는 살아 있다면, 살아남은 소자는 "수명이 $t_0$보다 길다"는 정보만 준다. 이런 자료를 중도 절단(censoring) 자료라 한다. 지수 분포에서 고장 난 소자는 밀도 $\lambda e^{-\lambda t_i}$를, 살아남은 소자는 생존 확률 $e^{-\lambda t_0}$를 가능도에 기여하므로

$$L(\lambda) = \prod_{i=1}^r \lambda e^{-\lambda t_i}\cdot\prod^{n-r} e^{-\lambda t_0} = \lambda^r e^{-\lambda T},\qquad T = \sum_{i=1}^r t_i + (n-r)t_0,\qquad \hat\lambda = \frac{r}{T}$$

$T$는 모든 소자가 시험받은 시간의 합인 총 시험 시간(total time on test, 소자·시간)이다. 고장률의 MLE는 "고장 수 ÷ 총 시험 시간"이다. 고장이 하나도 없으면($r = 0$) MLE는 0이 되어 쓸모없으므로, 실무에서는 10장의 신뢰 상한을 쓴다. 가속 시험이면 $T$에 가속 계수 AF를 곱해 사용 조건의 등가 시간으로 바꾼다.

소자 231개를 1000 동안 고온 동작 시험(HTOL)해 1개가 고장 났다(고장은 시험 끝 무렵이라 보고 총 시험 시간을 $n t_0$로 어림한다). 사용 조건 대비 가속 계수가 77.6이면 등가 시간 $T$ = 소자·시간, 고장률 MLE는 $\hat\lambda$ = , 곧 이고 MTTF의 MLE는 다. 10장에서 다룰 60% 신뢰 상한으로는 이다.

세 로트에서 77개씩 231개를 125 °C에서 1000시간 HTOL 시험해 1개가 고장 났다. 활성화 에너지 0.7 eV의 아레니우스 모형으로 사용 온도 55 °C에 대한 가속 계수를 구하고, 고장률의 MLE를 FIT 단위로 나타내라($k = 8.617\times10^{-5}$ eV/K, 총 시험 시간은 $n t_0$로 어림).

풀이 보기

전략 $\mathrm{AF} = \exp\big[\frac{E_a}{k}\big(\frac1{T_u} - \frac1{T_s}\big)\big]$, 등가 시간 $T = n t_0\,\mathrm{AF}$, $\hat\lambda = r/T$.

풀이 $1/328.15 - 1/398.15 = 5.358\times10^{-4}$ K⁻¹, $E_a/k = 8123$ K → $\mathrm{AF} = e^{4.352} = 77.6$. $T = 231\times1000\times77.6 = 1.794\times10^7$ 소자·시간. $\hat\lambda = 1/1.794\times10^7 = 5.58\times10^{-8}$ /h = 55.8 FIT.

$\mathrm{AF} \approx 77.6$, $\hat\lambda \approx 5.6\times10^{-8}$ /h ≈ 56 FIT

검토 고장 하나로 얻은 점추정값은 매우 불확실하다. 같은 자료의 60% 신뢰 상한은 $\chi^2_{0.4,\,4}/2T$로 약 113 FIT이고, 신뢰성 보고서에는 보통 이 상한을 적는다(10장, 17장).

HTOL 보고서의 FIT는 "고장 수 ÷ 등가 소자·시간"이다 JEDEC 방식 신뢰성 인증에서는 세 로트 77개씩을 125 °C, 1000시간 돌리고, 아레니우스(그리고 전압) 가속 계수로 사용 조건의 등가 소자·시간을 만든다. 이 장의 $\hat\lambda = r/T$가 그 점추정값이고, 보고서에는 $\chi^2$ 분포로 구한 60% 또는 90% 신뢰 상한이 FIT로 올라간다. 번인은 같은 생각을 반대로 써서 초기 고장 부모집단을 미리 태워 없애는 공정이다. → TestBook · 번인과 신뢰성 스크리닝(와이블·가속 모델·FIT) · MemoryBook · 신뢰성과 오류 정정(가속 수명 시험)

끝점 추정: 독일 전차 문제

균일 분포 $(0, \theta)$의 가능도는 미분으로 풀리지 않는 대표적인 예다. 밀도는 $0 \le x \le \theta$에서 $1/\theta$이므로

$$L(\theta) = \begin{cases}\theta^{-n}, & \theta \ge x_{(n)} = \max_i x_i\\ 0, & \theta < x_{(n)}\end{cases}\qquad\Longrightarrow\qquad \hat\theta_{\text{MLE}} = X_{(n)}$$

$\theta$가 최댓값보다 작으면 자료가 나올 수 없으므로 가능도가 0이고, 그 위에서는 $\theta^{-n}$이 감소하므로 경계 $\theta = x_{(n)}$에서 최대다. 도함수가 0인 점이 아니라 경계에서 최대가 되는 경우다.

표본 최댓값은 자료와 모순되지 않는다는 장점이 있지만, 언제나 $\theta$보다 작거나 같다. 그렇다면 평균적으로는 어떨까?

균일 $(0, \theta)$에서 $n = 4$개를 뽑을 때 표본 최댓값 $X_{(n)}$의 기댓값은?

$n$개의 점이 $(0, \theta)$를 평균적으로 $n + 1$개의 같은 간격으로 나눈다. 그래서 가장 큰 점 위에도 평균 $\theta/(n+1)$의 빈틈이 남고 $E[X_{(n)}] = \frac{n}{n+1}\theta$다. 편향을 없애려면 $\frac{n+1}{n}X_{(n)}$을 쓴다. 아래 게임과 미니 실험에서 확인하자.

제2차 세계 대전 때 연합군은 노획한 독일 전차의 일련번호로 전차 생산량을 추정했다. 번호가 1부터 $N$까지 붙어 있고 노획 전차가 그중 무작위로 $k$대라면, 이것은 이산 균일 분포의 끝점 $N$을 추정하는 문제다. 정보 기관이 월 1,000대가 넘는다고 보던 생산량을 통계 추정은 수백 대로 내놓았고, 전후 독일 기록은 통계 쪽에 훨씬 가까웠다.

$$\hat N = m + \frac{m}{k} - 1 = m\Big(1 + \frac1k\Big) - 1,\qquad m = \text{관측한 가장 큰 번호}$$

최댓값 $m$에 "번호 사이의 평균 빈틈" $m/k - 1$을 더한 값이다. 이 추정량은 불편이고 불편 추정량 가운데 분산이 가장 작다(MVUE). 적률법 $2\bar X - 1$도 불편이지만 분산이 훨씬 크다.

SIMULATOR

독일 전차 게임: 일련번호로 생산량 맞히기

흰 원(내 추정)을 좌우로 끈다

노획 대수 k 공식 추정값 보기

내 추정 N—

이번 판 결과—

판 수—

평균 오차: 나 · m(1+1/k)−1 · 2x̄−1—

전차(초록 사각형)에 적힌 일련번호만 보고 생산량 $N$(100–1000)을 짐작한다. 정답을 확인하면 참값과 두 공식 추정값이 나타나고, 판이 쌓이면 세 방법의 평균 상대 오차를 비교한다. 과녁: 다섯 판 이상에서 내 평균 오차를 공식 $m(1 + 1/k) - 1$보다 작게 만들어 보라. 해볼 것: ① 가장 큰 번호보다 작게 추정하는 것은 손해다. 최소한 $m$은 생산되었다. ② 번호 사이 간격을 눈으로 어림해 $m$ 위에 한 간격만큼 더해 보자. 그것이 공식의 생각이다. ③ $k$를 늘리면 공식의 오차가 빠르게 준다.

MINI LAB균일 $(0, 10)$에서 $n$개씩 거듭 뽑아 만든 세 추정량의 분포: MLE $X_{(n)}$(회색), 보정 $\frac{n+1}{n}X_{(n)}$(초록), 적률법 $2\bar X$(자주). MLE는 10을 넘지 못해 왼쪽으로 치우치고, 보정 추정량은 중심이 10에 오며 적률법보다 훨씬 좁다. 분산은 $\theta^2/n(n+2)$ 대 $\theta^2/3n$이다.

표본 크기 4에서 $E[X_{(n)}]$ = $\theta$이므로 MLE의 편향은 $\theta$이다. 보정 추정량 $\frac{n+1}{n}X_{(n)}$의 표준 오차는 $\theta$, 적률법 $2\bar X$는 $\theta$로 적률법의 효율은 이다. 보정 추정량의 분산은 $1/n^2$로, 적률법은 $1/n$로 준다.

피셔 정보와 크라메르–라오 하한

로그 가능도의 꼭대기가 뾰족하면 자료가 모수를 강하게 가리키고, 꼭대기가 평평하면 넓은 범위의 모수가 자료를 거의 똑같이 잘 설명한다. 이 뾰족함, 곧 꼭대기의 곡률이 자료가 담은 모수 정보의 양이다.

같은 표본 수율 $\hat p = 0.8$이라도 칩 20개를 본 것과 200개를 본 것은 다르다. 두 곡선은 $\ell(p) - \ell(\hat p)$로, 200개의 곡선이 10배 더 휘어 있다. 꼭대기에서 0.5만큼 내려간 폭의 절반이 표준 오차 $\sqrt{\hat p(1-\hat p)/n}$와 같다.

로그 가능도의 기울기 $U(\theta) = \partial\ell/\partial\theta$를 점수 함수(score function)라 한다. 참 모수에서 점수의 기댓값은 0이고, 그 분산을 관측 하나당 피셔 정보(Fisher information)라 한다.

$$I(\theta) = E\Big[\Big(\frac{\partial}{\partial\theta}\ln f(X;\theta)\Big)^2\Big] = -E\Big[\frac{\partial^2}{\partial\theta^2}\ln f(X;\theta)\Big],\qquad I_n(\theta) = nI(\theta)$$

둘째 식은 로그 밀도의 평균 곡률이다. 독립 관측 $n$개의 정보는 $n$배가 된다. 자료에서 직접 잰 곡률 $-\ell''(\hat\theta)$를 관측 정보라 하며 $nI(\hat\theta)$의 추정값으로 쓴다.

검사한 칩 n 표본 수율 p̂

MINI LAB베르누이 로그 가능도 $\ell(p) - \ell(\hat p)$(초록)와 꼭대기의 곡률로 그린 포물선 $-\frac12 nI(\hat p)(p - \hat p)^2$(자주 점선). $n$을 늘리면 곡률이 $n$에 비례해 커지고 두 곡선이 겹친다. 회색 띠는 꼭대기에서 0.5 아래까지의 범위로, 그 반폭이 표준 오차다. $\hat p$를 0이나 1 쪽으로 옮기면 곡선이 비대칭이 되고 포물선 근사가 나빠진다.

피셔 정보는 불편 추정량이 도달할 수 있는 정밀도의 한계를 정한다.

크라메르–라오 하한

정칙 조건(지지 집합이 $\theta$에 의존하지 않는 등)을 만족하는 모형에서 $\theta$의 불편 추정량 $\hat\theta$는 모두 다음을 만족한다. 이 하한에 닿는 불편 추정량을 유효 추정량(efficient estimator)이라 한다.

$$\operatorname{Var}(\hat\theta) \ge \frac{1}{nI(\theta)}$$

모형	$I(\theta)$	크라메르–라오 하한	MLE와 그 분산
$\mathrm{Bernoulli}(p)$	$\dfrac{1}{p(1-p)}$	$\dfrac{p(1-p)}{n}$	$\hat p$: 같음(유효)
$\mathrm{Poisson}(\lambda)$	$1/\lambda$	$\lambda/n$	$\bar X$: 같음(유효)
$N(\mu, \sigma^2)$, $\sigma$ 앎	$1/\sigma^2$	$\sigma^2/n$	$\bar X$: 같음(유효)
$\mathrm{Exp}(\lambda)$	$1/\lambda^2$	$\lambda^2/n$	$n/\sum X_i$: $\frac{n^2\lambda^2}{(n-1)^2(n-2)}$, 편향 있음

MLE가 언제나 하한에 닿지는 않는다. 그러나 $n$이 크면 MLE는 거의 불편이고 분산이 하한에 다가가며 분포가 정규에 가까워진다.

$$\hat\theta_{\text{MLE}} \;\approx\; N\Big(\theta,\ \frac{1}{nI(\theta)}\Big),\qquad \mathrm{SE}(\hat\theta) \approx \frac{1}{\sqrt{nI(\hat\theta)}} \approx \frac{1}{\sqrt{-\ell''(\hat\theta)}}$$

이 점근 정규성이 MLE를 널리 쓰는 이유다. 꼭대기의 곡률 하나로 표준 오차를 얻고, 10장의 근사 신뢰 구간 $\hat\theta \pm z_{\alpha/2}\,\mathrm{SE}$로 바로 이어진다. 균일 분포 $(0, \theta)$처럼 지지 집합이 모수에 달린 모형은 정칙 조건을 어기므로 하한이 성립하지 않는다. 실제로 $\frac{n+1}{n}X_{(n)}$의 분산은 $1/n^2$로 줄어 $1/n$보다 빠르다.

지수 분포 수명 $n = 5$개로 고장률을 추정할 때, MLE $\hat\lambda = n/\sum X_i$의 분산은 크라메르–라오 하한 $\lambda^2/n$과 비교해 어떨까?

정확한 분산은 $\frac{n^2\lambda^2}{(n-1)^2(n-2)}$이고 $n = 5$에서 하한의 2.6배다. 게다가 MLE는 $\frac{n}{n-1}\lambda$로 25% 큰 쪽으로 치우쳐 있다(이 추정량은 불편이 아니므로 하한이 직접 적용되지는 않는다). $n$을 키우면 비가 1로 간다. 시뮬레이터에서 $n$을 바꾸며 확인하자.

SIMULATOR

크라메르–라오 하한 대 실제 분산

흰 원을 끌어 참값 θ를 바꾼다

n에 따른 분산 (로그 눈금)

모형 · 추정량

표본 크기 n

뽑기

반복 횟수—

추정값 평균 (참값)—

모의 분산—

하한 1/nI(θ)—

분산 ÷ 하한—

왼쪽: 추정값 히스토그램(초록)과 점근 분포 $N(\theta, 1/nI(\theta))$(자주). 오른쪽: $n$마다 2000번 모의한 분산(초록 점)과 하한 $1/nI$(자주 직선)을 로그–로그 눈금으로 그렸다. 해볼 것: ① 지수 모형에서 $n = 5$이면 히스토그램이 오른쪽으로 길게 치우치고 분산이 하한의 2배를 넘는다. $n = 50$이면 거의 겹친다. ② 포아송과 베르누이는 작은 $n$에서도 분산 ÷ 하한이 1 근처다. 유효 추정량이기 때문이다. ③ 오른쪽 그래프의 기울기 −1은 "표본을 4배 늘려야 표준 오차가 반이 된다"는 뜻이다.

칩 200개를 검사해 수율 0.90을 얻었다. 관측 하나의 피셔 정보는 $I(\hat p)$ = , 전체 정보는 이고, 크라메르–라오 하한에서 표준 오차는 이다. 표준 오차를 0.01로 줄이려면 칩 개가 필요하다.

웨이퍼 정렬 테스트에서 다이 200개 중 180개가 양품이었다. 수율 MLE와 피셔 정보로 구한 표준 오차를 구하라. 표준 오차를 0.01 이하로 만들려면 다이가 몇 개 필요한가?

풀이 보기

전략 베르누이 모형에서 $\hat p = x/n$, $I(p) = 1/p(1-p)$, $\mathrm{SE} = 1/\sqrt{nI(\hat p)}$.

풀이 $\hat p = 0.9$, $I(0.9) = 1/0.09 = 11.1$, $nI = 2222$, $\mathrm{SE} = \sqrt{0.09/200} = 0.0212$. $\sqrt{0.09/n} \le 0.01$이면 $n \ge 0.09/10^{-4} = 900$.

$\hat p = 0.90$, $\mathrm{SE} = 0.021$, 필요한 다이 수 900개

검토 표준 오차를 반으로 줄이려면 표본이 4배 필요하다. 0.0212에서 0.01로 줄이는 데 약 4.5배가 들었다. 수율이 0.5에 가까울수록 $p(1-p)$가 커서 같은 정밀도에 더 많은 다이가 든다.

TCAD 보정의 "골짜기"는 피셔 정보가 부족하다는 신호다 소자 모델의 매개변수를 측정 곡선에 맞출 때 최소 제곱 오차 곡면은 정규 잡음 아래에서 로그 가능도를 뒤집은 것이다. 해 근처에서 매개변수 공분산을 $\hat\sigma^2(\mathbf J^{\top}\mathbf J)^{-1}$로 어림하는데, $\mathbf J^{\top}\mathbf J/\hat\sigma^2$가 바로 피셔 정보 행렬이다. 이동도와 직렬 저항처럼 두 매개변수가 출력을 같은 방식으로 바꾸면 곡면에 평평한 골짜기가 생기고(정보 행렬이 특이에 가까움) 표준 오차가 커진다. 측정 조건을 넓혀 곡률을 키우는 것, 곧 정보를 늘리는 것이 해법이다. → TCADBook · 보정과 실험 계획(식별 가능성: 상관된 매개변수와 골짜기)

베이즈 추정 맛보기

지금까지는 모수를 모르는 상수로 보았다. 베이즈 관점은 모수에 대한 불확실성을 확률 분포로 표현한다. 자료를 보기 전의 믿음을 사전 분포(prior distribution) $\pi(\theta)$로 두고, 3장의 베이즈 정리로 자료를 본 뒤의 사후 분포(posterior distribution)를 얻는다.

$$\pi(\theta \mid x_1, \dots, x_n) = \frac{L(\theta)\,\pi(\theta)}{\int L(t)\,\pi(t)\,dt} \;\propto\; L(\theta)\,\pi(\theta)$$

사후 분포는 가능도와 사전 분포의 곱에 비례한다. 점추정값으로는 사후 평균(제곱 오차 손실에서 최적)이나 사후 최빈값(MAP)을 쓴다. 사전 분포가 평평하면 MAP는 MLE와 같다.

수율처럼 0과 1 사이의 모수에는 베타 분포 $\mathrm{Beta}(a, b)$가 편리하다. $\pi(p) \propto p^{a-1}(1-p)^{b-1}$에 이항 가능도 $p^x(1-p)^{n-x}$를 곱하면 다시 베타 분포가 된다. 사전과 사후가 같은 분포족에 머무는 이런 짝을 켤레 사전 분포(conjugate prior)라 한다.

$$p \sim \mathrm{Beta}(a, b),\ X \mid p \sim \mathrm{Bin}(n, p)\ \Longrightarrow\ p \mid x \sim \mathrm{Beta}(a + x,\ b + n - x)$$ $$E[p \mid x] = \frac{a + x}{a + b + n} = \underbrace{\frac{a+b}{a+b+n}}_{\text{사전 무게}}\cdot\frac{a}{a+b} + \underbrace{\frac{n}{a+b+n}}_{\text{자료 무게}}\cdot\frac{x}{n}$$

사후 평균은 사전 평균과 MLE $x/n$의 가중 평균이다. $a + b$는 사전 믿음이 "칩 몇 개를 본 것만큼" 강한지를 나타내는 사전 표본 크기다. 9.3절의 수축 추정량과 같은 구조로, MLE를 사전 평균 쪽으로 끌어당긴다. $n \to \infty$이면 자료 무게가 1로 가서 사후 평균이 MLE와 같아진다.

SIMULATOR

사전 × 가능도 = 사후: 신제품 수율 추정

흰 원: 좌우 = 사전 평균, 위아래 = 사전 강도

검사한 칩 n 그중 양품 x

사전 Beta(a, b)—

MLE x/n—

사후 평균 · MAP—

사후 95% 구간—

자료 무게 n/(a+b+n)—

회색은 사전 분포, 초록은 가능도(꼭대기가 MLE, 높이를 맞춰 그림), 자주색은 사후 분포다. 기존 제품의 수율이 0.9 안팎이었다는 경험을 사전 분포로 넣었다. "칩 10개 더 검사"는 참 수율 0.82인 신제품을 10개씩 검사해 자료를 늘린다. 해볼 것: ① 사전 강도를 키우면(● 위로) 사후가 사전 쪽에 붙고, 줄이면 가능도 쪽으로 간다. ② 자료를 지운 뒤 10개씩 늘려 보자. 처음에는 사후 평균이 0.9 근처에 머물다가 자료가 쌓이면 0.82로 옮겨 간다. ③ 사전 평균을 0.5, 강도를 2(평평한 Beta(1, 1))로 두면 MAP가 MLE와 같아진다.

기존 제품 경험에서 수율의 사전 분포를 $\mathrm{Beta}(18, 2)$(평균 0.9, 사전 표본 크기 20)로 잡았다. 신제품 다이 50개를 검사해 41개가 양품이었다. 사후 분포, 사후 평균, MAP, MLE를 구하고 95% 사후 구간을 말하라.

풀이 보기

전략 켤레 갱신 $\mathrm{Beta}(a + x, b + n - x)$.

풀이 사후 $\mathrm{Beta}(59, 11)$. 사후 평균 $59/70 = 0.843$, MAP $58/68 = 0.853$, MLE $41/50 = 0.820$. 가중 평균으로 보면 $\frac{20}{70}(0.9) + \frac{50}{70}(0.82) = 0.843$. 베타 분위수로 95% 구간은 $[0.750, 0.918]$.

사후 Beta(59, 11), 사후 평균 0.843, MAP 0.853, MLE 0.820, 95% 사후 구간 [0.750, 0.918]

검토 사후 평균은 MLE(0.82)와 사전 평균(0.9) 사이에 있고, 자료 무게 $50/70 = 0.71$만큼 MLE 쪽이다. 신제품이 기존 제품과 정말 비슷하다는 근거가 약하면 사전 강도를 줄여야 한다. 사전 분포는 숨기지 말고 보고서에 밝힌다.

결함 수처럼 포아송 자료에는 감마 분포가 켤레다. 결함 밀도 $D_0$에 사전 $\mathrm{Gamma}(\alpha, \text{비율 } \beta)$를 두고, 면적 $A$인 영역 $n$곳에서 결함을 모두 $\sum x_i$개 셌다면 사후는 $\mathrm{Gamma}(\alpha + \sum x_i,\ \beta + nA)$이고 사후 평균은 $(\alpha + \sum x_i)/(\beta + nA)$이다. $\alpha$는 "사전에 본 결함 수", $\beta$는 "사전에 본 면적"처럼 읽힌다.

과거 라인 경험을 결함 20개를 면적 100에서 본 것과 같은 사전 분포(사전 평균 )로 두었다. 새 공정의 웨이퍼 8장에서 50 cm²씩 검사해 결함 85개를 셌다. MLE는 $\hat D_0$ = , 사후 평균은 이고 자료 무게는 다.

빈도론과 베이즈, 무엇이 다른가

빈도론의 추정량 평가(편향, MSE, 신뢰 구간)는 "표본을 다시 뽑는다면"이라는 가상의 반복에 기대고, 모수는 고정된 상수다. 베이즈 추론은 자료를 고정하고 모수의 불확실성을 확률로 말한다. "수율이 0.75와 0.92 사이일 확률이 95%"라는 말은 베이즈 사후 구간에서만 문자 그대로 성립한다. 자료가 많으면 두 방법의 답이 거의 같아지고, 자료가 적고 믿을 만한 사전 지식이 있을 때 베이즈 방법이 힘을 낸다.

핵심 정리

추정량 $\hat\theta = h(X_1, \dots, X_n)$은 규칙이자 확률 변수이고, 추정값은 그 규칙이 자료에서 내놓은 숫자다. 추정량의 좋고 나쁨은 표본 분포로 판단한다.
편향은 $E[\hat\theta] - \theta$이다. $\bar X$, $\hat p$, $S^2 = \frac{1}{n-1}\sum(X_i - \bar X)^2$는 불편이고 $S_n^2$는 $-\sigma^2/n$만큼 편향된다. 자유도 $n - 1$은 $\bar X$를 자료로 추정하느라 잃은 하나를 뺀 것이다. $S$는 $\sigma$를 작게 본다($E[S] = c_4\sigma$).
$\mathrm{MSE} = \operatorname{Var}(\hat\theta) + \mathrm{Bias}^2$. 수축 추정량 $c\bar X$처럼 약간의 편향으로 분산을 크게 줄이면 MSE가 작아질 수 있다($c^* = \mu^2/(\mu^2 + \sigma^2/n)$).
상대 효율은 분산의 비다. 정규 자료에서 중앙값은 평균 대비 $2/\pi \approx 0.64$이지만, 꼬리가 두꺼우면 중앙값이 이긴다. MSE $\to 0$이면 일치 추정량이다(체비쇼프).
적률법은 $E[X^k] = \frac1n\sum X_i^k$를 푼다: 감마 $\hat\theta = S_n^2/\bar X$, $\hat k = \bar X^2/S_n^2$, 균일 $2\bar X$. 쉽지만 자료와 모순되는 값을 낼 수 있다.
MLE는 $\ell(\theta) = \sum\ln f(x_i;\theta)$의 최대점이다: 포아송·정규 평균 $\bar X$, 지수 $1/\bar X$, 중도 절단 지수 $r/T$(총 시험 시간), 정규 분산 $S_n^2$, 균일 $X_{(n)}$(경계 최대, 편향 → $\frac{n+1}{n}X_{(n)}$). 불변성으로 $\hat D_0 = -\ln\hat Y/A$, MTTF $= 1/\hat\lambda$.
피셔 정보 $I(\theta) = -E[\partial^2\ln f/\partial\theta^2]$는 로그 가능도의 곡률이다. 불편 추정량은 $\operatorname{Var} \ge 1/nI(\theta)$(크라메르–라오)이고, MLE는 점근적으로 $N(\theta, 1/nI)$를 따른다. 베이즈 추정은 사후 $\propto$ 가능도 × 사전이며, 베타–이항 사후 평균은 사전 평균과 MLE의 가중 평균이다.

연습문제

필요하면 부록 A의 분포 계산기를 쓴다. 따로 말이 없으면 표본은 확률 표본(독립, 같은 분포)이다. 답이 ±1% 이내면 정답이다.

측정값 3.2, 4.1, 2.7, 3.9, 3.6, 4.5의 표본 평균, 표본 분산 $S^2$, 표본 표준 편차 $S$를 구하라.

편차 제곱합을 $n - 1 = 5$로 나눈다.

$\bar x = 22/6 = 3.667$. 편차 제곱합 $= \sum x_i^2 - n\bar x^2 = 82.76 - 80.667 = 2.093$. $S^2 = 2.093/5 = 0.419$, $S = 0.647$.

모분산 $\sigma^2 = 4$인 모집단에서 $n = 10$개를 뽑아 $n$으로 나눈 분산 $S_n^2$을 쓴다. $E[S_n^2]$와 편향은?

$E[S_n^2] = \frac{n-1}{n}\sigma^2 = 0.9\times4 = 3.6$, 편향 $= 3.6 - 4 = -0.4 = -\sigma^2/n$.

$\hat\theta$가 $\theta$의 불편 추정량일 때 옳은 것은?

불편성은 $E[\hat\theta] = \theta$, 곧 반복 추출에서의 평균에 대한 성질이다. $E[\hat\theta^2] = \operatorname{Var}(\hat\theta) + \theta^2 > \theta^2$이므로 $\hat\theta^2$는 편향된다. 분산이 최소라는 것은 MVUE라는 더 강한 조건이다.

$X_1, X_2$가 평균 $\mu = 6$, 분산 $\sigma^2 = 9$인 모집단의 표본이다. 추정량 $\hat\theta = (X_1 + X_2)/3$의 편향, 분산, MSE를 구하라. $\bar X$의 MSE(4.5)와 비교하라.

$E[\hat\theta] = 2\mu/3$, $\operatorname{Var}(\hat\theta) = 2\sigma^2/9$.

편향 $= 2\mu/3 - \mu = -\mu/3 = -2$, 분산 $= 2\times9/9 = 2$, MSE $= 2 + 4 = 6$. $\bar X$(4.5)보다 크다. 이 $\mu$에서는 수축이 지나치다($c = 2/3$). 최적 계수는 $c^* = 36/(36 + 4.5) = 0.889$이다.

$\mu = 5$, $\sigma = 10$, $n = 4$일 때 수축 추정량 $c\bar X$의 MSE를 최소로 만드는 $c^*$와 그때의 MSE를 구하라. $\bar X$의 MSE는 얼마인가?

$\sigma^2/n = 25 = \mu^2$이므로 $c^* = 25/50 = 0.5$, $\mathrm{MSE}_{\min} = 25\times25/50 = 12.5$. $\bar X$의 MSE는 25이니 절반이다.

정규 모집단에서 $n = 100$인 표본 평균과 같은 분산을 표본 중앙값으로 얻으려면 표본이 대략 몇 개 필요한가? (큰 표본의 $\operatorname{Var}(\text{중앙값}) \approx \pi\sigma^2/2n$을 쓴다.)

$\pi\sigma^2/(2m) = \sigma^2/100$에서 $m = 50\pi = 157$. 효율 $2/\pi = 0.637$의 역수만큼, 곧 57% 더 필요하다.

균일 분포 $(0, \theta)$에서 2.1, 7.4, 5.0, 3.3, 6.8, 0.9를 얻었다. $\theta$의 적률법 추정값, MLE, 불편 보정 추정값 $\frac{n+1}{n}x_{(n)}$을 구하라.

$\bar x = 25.5/6 = 4.25$이므로 $2\bar x = 8.5$. MLE는 최댓값 7.4. 보정 $= \frac76\times7.4 = 8.63$.

대기 시간 자료의 표본 평균이 12분, $n$으로 나눈 분산이 36분²이다. 감마 분포 $\mathrm{Gamma}(k, \theta)$의 적률법 추정값을 구하라.

$\hat\theta = s_n^2/\bar x = 36/12 = 3$분, $\hat k = \bar x^2/s_n^2 = 144/36 = 4$.

웨이퍼 10장에서 각각 70 cm²를 검사해 결함을 모두 37개 찾았다. 결함 수가 포아송 분포를 따른다고 할 때 결함 밀도의 MLE와 그 표준 오차(피셔 정보 이용)를 구하라.

총 검사 면적 700 cm²에서 결함 수가 $\mathrm{Poisson}(700D_0)$이라고 보면 된다.

$\hat D_0 = 37/700 = 0.0529$ 개/cm². 총 결함 수의 분산이 $700D_0$이므로 $\operatorname{Var}(\hat D_0) = D_0/700$, $\mathrm{SE} = \sqrt{37}/700 = 0.00869$ 개/cm².

소자 50개를 1000시간 시험해 120, 340, 610시간에 하나씩 고장 났고 나머지는 끝까지 살아 있었다. 지수 분포를 가정할 때 고장률의 MLE(×10⁻⁵ /h 단위)와 MTTF의 MLE를 구하라.

총 시험 시간 $T = 120 + 340 + 610 + 47\times1000$.

$T = 1070 + 47000 = 48070$ 소자·시간, $\hat\lambda = 3/48070 = 6.24\times10^{-5}$ /h, 불변성으로 $\widehat{\mathrm{MTTF}} = 48070/3 = 16023$ h.

밀도 $f(x;\theta) = \theta x^{\theta - 1}$ ($0 < x < 1$, $\theta > 0$)의 MLE를 유도하고, 자료 0.62, 0.85, 0.71, 0.93, 0.55로 값을 구하라.

$\ell(\theta) = n\ln\theta + (\theta - 1)\sum\ln x_i$.

$\ell'(\theta) = n/\theta + \sum\ln x_i = 0$에서 $\hat\theta = -n/\sum\ln x_i$. $\sum\ln x_i = -0.4780 - 0.1625 - 0.3425 - 0.0726 - 0.5978 = -1.6535$이므로 $\hat\theta = 5/1.6535 = 3.02$. $\ell'' = -n/\theta^2 < 0$이라 최대다.

수율이 $p = 0.9$인 공정에서 다이 400개로 $p$를 추정한다. 크라메르–라오 하한으로 구한 불편 추정량의 최소 표준 오차는?

$I(p) = 1/p(1-p) = 11.1$, 하한 $= p(1-p)/n = 0.09/400 = 2.25\times10^{-4}$, $\mathrm{SE} = 0.015$. $\hat p$가 이 하한에 닿는다.

지수 분포에서 $n = 10$개로 구한 MLE $\hat\lambda = n/\sum X_i$의 기댓값은 $\frac{n}{n-1}\lambda$다. $E[\hat\lambda]/\lambda$를 구하라. 불편 추정량 $\tilde\lambda = (n-1)/\sum X_i$의 분산은 $\lambda^2/(n-2)$이다. 이 분산은 크라메르–라오 하한의 몇 배인가?

$\sum X_i \sim \mathrm{Gamma}(n, 1/\lambda)$이고 $E[1/\sum X_i] = \lambda/(n-1)$이다. 하한은 $\lambda^2/n$.

$E[\hat\lambda]/\lambda = 10/9 = 1.11$. $\operatorname{Var}(\tilde\lambda)/(\lambda^2/n) = n/(n-2) = 10/8 = 1.25$. 불편 추정량이지만 하한에 닿지 않는다. 지수 분포의 $\lambda$에는 유효 추정량이 없고, $n$이 커지면 비가 1로 간다.

번호가 1부터 $N$까지인 장비 가운데 무작위로 고른 4대의 번호가 19, 40, 42, 60이었다. 불편 추정량 $m(1 + 1/k) - 1$과 적률법 $2\bar x - 1$로 $N$을 추정하라.

$m = 60$, $k = 4$: $\hat N = 60\times1.25 - 1 = 74$. $\bar x = 40.25$이므로 $2\bar x - 1 = 79.5$. 두 추정량 모두 불편이지만 앞의 것이 분산이 훨씬 작다.

수율의 사전 분포가 $\mathrm{Beta}(9, 1)$이다. 다이 50개 중 46개가 양품이었을 때 사후 평균과 사후 최빈값(MAP)을 구하라.

사후 $\mathrm{Beta}(55, 5)$. 사후 평균 $55/60 = 0.917$, MAP $54/58 = 0.931$. MLE 0.92와 사전 평균 0.9 사이에 있다.

모평균 $\mu$의 추정량 가운데 일치 추정량이 아닌 것은?

$(X_1 + X_n)/2$는 불편이지만 분산이 $\sigma^2/2$로 $n$과 상관없이 줄지 않는다. $\frac{n}{n+1}\bar X$는 편향이 있지만 편향과 분산이 모두 0으로 가므로 일치 추정량이다.

개념 확인 퀴즈

$S^2$이 $\sigma^2$의 불편 추정량이라면 $S$는 $\sigma$에 대해 어떤가?

제곱근은 오목 함수여서 $E[S] = E[\sqrt{S^2}] < \sqrt{E[S^2]} = \sigma$다(옌센 부등식). 정규 모집단에서 $E[S] = c_4\sigma$이고, 관리도는 $\bar s/c_4$로 보정한다.

편향이 있는 추정량에 대한 설명으로 옳은 것은?

$\mathrm{MSE} = \operatorname{Var} + \mathrm{Bias}^2$이므로 편향을 조금 받아들이고 분산을 크게 줄이면 MSE가 준다. $S_n^2$처럼 편향이 $n$과 함께 0으로 가면 일치 추정량이다.

가능도 함수 $L(\theta)$에 대한 설명으로 옳은 것은?

가능도는 $\theta$의 분포가 아니다. $\theta$가 그럴듯한 정도를 상대적으로 비교할 뿐이어서 가능도 비 $L(\theta_1)/L(\theta_2)$에 뜻이 있다. $\theta$에 확률을 주려면 사전 분포를 곱해 사후 분포를 만들어야 한다.

두 실험의 로그 가능도가 같은 $\hat\theta$에서 최대인데, 실험 A의 꼭대기 곡률이 실험 B의 4배다. 옳은 것은?

$\mathrm{SE} \approx 1/\sqrt{-\ell''(\hat\theta)}$이므로 곡률이 4배면 표준 오차는 1/2이다. 독립 관측을 4배로 늘린 것과 같은 효과다.

베타 사전 분포와 이항 자료에서 표본 크기 $n$을 계속 늘리면 사후 평균은?

사후 평균에서 자료의 무게는 $n/(a + b + n) \to 1$이다. 자료가 많으면 빈도론과 베이즈의 점추정값이 거의 같아진다.

모집단	적률 식	적률법 추정량
\(\mathrm{Poisson}(\lambda)\)	\(E[X] = \lambda\)	\(\hat\lambda = \bar X\)
\(\mathrm{Exp}(\lambda)\)	\(E[X] = 1/\lambda\)	\(\hat\lambda = 1/\bar X\)
균일 \((0, \theta)\)	\(E[X] = \theta/2\)	\(\hat\theta = 2\bar X\)
\(N(\mu, \sigma^2)\)	\(E[X] = \mu,\ \operatorname{Var}(X) = \sigma^2\)	\(\hat\mu = \bar X,\ \hat\sigma^2 = S_n^2\)
\(\mathrm{Gamma}(k, \theta)\)	\(E[X] = k\theta,\ \operatorname{Var}(X) = k\theta^2\)	\(\hat\theta = S_n^2/\bar X,\ \hat k = \bar X^2/S_n^2\)

모형	\(I(\theta)\)	크라메르–라오 하한	MLE와 그 분산
\(\mathrm{Bernoulli}(p)\)	\(\dfrac{1}{p(1-p)}\)	\(\dfrac{p(1-p)}{n}\)	\(\hat p\): 같음(유효)
\(\mathrm{Poisson}(\lambda)\)	\(1/\lambda\)	\(\lambda/n\)	\(\bar X\): 같음(유효)
\(N(\mu, \sigma^2)\), \(\sigma\) 앎	\(1/\sigma^2\)	\(\sigma^2/n\)	\(\bar X\): 같음(유효)
\(\mathrm{Exp}(\lambda)\)	\(1/\lambda^2\)	\(\lambda^2/n\)	\(n/\sum X_i\): \(\frac{n^2\lambda^2}{(n-1)^2(n-2)}\), 편향 있음