표본평균과 표본분산의 극한

모집단 $X\sim F$에서 크기 $n$인 단순무작위표본 $X_1,\cdots,X_n$을 추출했다고 하자. 모평균 $\mathbb{E}[X]=\mu$, 모분산 $\mathrm{Var}[X]=\sigma^2$이라고 하자. 표본평균 $\overline{X}$와 표본분산 $S^2$의 정의는 다음과 같다.

$$\begin{split} &\overline{X}:=\frac{1}{n}\sum_{i=1}^{n}X_i \\ &S^2:=\frac{1}{n-1}\sum_{i=1}^{n}(X_i-\overline{X})^2 \end{split}$$

이때, 큰 수의 법칙에 의해 $\overline{X}\overset{\mathrm{a.s.}}{\to}\mu$이고 $S^2\overset{\mathrm{a.s.}}{\to}\sigma^2$이다. 즉, 표본의 크기가 충분히 크다면, 표본평균과 표본분산은 각각 모평균과 모분산에 거의 확실히 수렴한다.

직관적으로 봤을 때, 표본평균과 표본분산은 모평균과 모분산의 대체품이므로 이것이 성립해야 마땅하다. 표본의 크기를 충분히 늘려서 모집단의 크기와 같도록 만든다면, 표본평균은 모평균과 같아지고, 표본분산 역시 모분산과 같아진다.

증명: IID $X_i\sim F$이므로 $\mathbb{E}[X_i]=\mu$가 존재한다. 따라서 큰 수의 법칙이 성립한다. $X_i$의 산술평균이 $\mu$에 수렴하는 것이다.

$$\frac{1}{n}\sum_{i=1}^{n}X_i=:\overline{X}\overset{\mathrm{a.s.}}{\to}\mu$$

그렇다면 $X_i^2$의 산술평균은 어떨까? $\mathbb{E}[X_i^2]=\mathrm{Var}[X_i]+\mathbb{E}[X_i]^2=\sigma^2+\mu^2$이 존재하므로 큰 수의 법칙이 성립한다.

$$\frac{1}{n}\sum_{i=1}^{n}X_i^2\overset{\mathrm{a.s.}}{\to}\sigma^2+\mu^2$$

따라서 표본분산 $S^2$과 비슷한 통계량(표본의 2차 중심적률) $B_2$는 모분산 $\sigma^2$에 a.s. 수렴한다.

$$B_2:=\frac{1}{n}\sum_{i=1}^{n}(X_i-\overline{X})^2=\frac{1}{n}\sum_{i=1}^{n}X_i^2-\overline{X}^2\overset{\mathrm{a.s.}}{\to}(\sigma^2+\mu^2)-\mu^2=\sigma^2$$

그런데 $n$이 매우 크다면 $\frac{1}{n}$이나 $\frac{1}{n-1}$이나 큰 차이가 없기 때문에, 표본분산 $S^2$은 통계량 $B_2$로 대체할 수 있고, 표본분산이 모분산에 수렴한다고 볼 수 있다.