구간추정

지난 글에서 논의한 적률 추정법과 최대가능도 추정법은 모두 점추정(Point Estimation; 点估计)의 방법이다. 좋은 추정량의 3가지 기준인 불편성, 효율성, 일치성도 점추정에서 논의되는 개념이다.

점추정은 합리적인 방법이지만 모수를 추정한답시고 특정 수치(점)를 콕 집어서 ‘이거야!’라고 단언하는 것이 부담스러울수가 있다. 이를 보완하려고 하는 방법이 바로 구간추정(Interval Estimation; 区间估计)이다. ‘이거야!’ 대신 ‘이 근처야!’라고 하는 것이다.

정확히는 ‘이 근처에 있지 않을 확률이 매우 낮아!’라고 하는 것이다. 다시 말해 모수 $\theta$가 특정 구간에 속할 확률을 매우 크게 만드는 것이다. 다음과 같은 확률을 생각해보자.

$$P(\underline\theta<\theta<\overline\theta)=1-\alpha$$

여기서 $\underline\theta$과 $\overline\theta$는 각각 $\theta$의 하한과 상한이다. 지금 하려는 것은 표본을 추출하고 적당한 구간을 잡는 것이기 때문에 모수의 상한과 하한은 표본의 함수, 즉 통계량이 된다.

$$\underline\theta=\underline\theta(X_1,\cdots,X_n),\space \overline\theta=\overline\theta(X_1,\cdots,X_n)$$

이 적당한 구간 $(\underline\theta(X_1,\cdots,X_n),\overline\theta(X_1,\cdots,X_n) )$을 $\theta$의 신뢰구간(Confidence Interval, CI; 置信区间)이라고 한다. 그리고 표본을 추출하여 열심히 계산한 신뢰구간이 모수를 포함할 확률

$$P(\underline\theta(X_1,\cdots,X_n)<\theta<\overline\theta(X_1,\cdots,X_n))=1-\alpha$$

을 신뢰수준(Confidence Level; 置信水平)이라고 한다.

여기서 유의수준(Significance Level; 显著性水平) $\alpha$는 매우 작은 확률이다. 예를 들어 $\alpha=0.05$로 놓는다고 가정해보자. 하나의 표본과 하나의 신뢰구간은 대응되며, 표본을 100개 추출하면 100개의 신뢰구간을 얻을 수 있을 것이다. 이때, 모수를 포함하지 못하는 신뢰구간이 이론상 5개 밖에 안 되며, 나머지 95개는 모두 모수를 포함하고 있다는 뜻이다. (큰 수의 법칙에 의해 빈도는 확률과 같아진다.) 따라서 $\alpha$가 작을 수록 신뢰구간의 신뢰수준 $(1-\alpha)$가 높다고 할 수 있다. 더 믿을만한 신뢰구간이라는 뜻이다.

note: 왜 신뢰구간이 모수를 포함할 확률인 신뢰수준을 $\alpha$라고 직접적으로 놓지 않고, $(1-\alpha)$라고 간접적으로 놓았을까? 아마도 통계적 가설검정의 유의수준과 관련이 있는 것 같다.

결국 구간추정은 먼저 신뢰수준 $(1-\alpha)$를 정한 뒤, 표본 $X_1,\cdots,X_n$을 추출해서 $\theta$가 포함될만한 구간 $(\underline{\theta},\overline{\theta})$를 계산하는 작업이다. 유의수준 $\alpha$는 0.01이나 0.05로 주어진다. 따라서 구간추정의 성패는 모수의 하한과 상한을 어떻게 정의하느냐에 달려있다.