적률 추정법

우리가 표본을 추출하는 이유는 표본의 특성을 토대로 모집단의 특성을 추론하기 위해서다. 모평균 $\mu$를 추정하기 위해 표본평균 $\overline{X}$를 계산하는 것이 좋은 예시다. 이때, 표본평균을 모평균의 추정량(Estimator; 估计量)이라고 한다. 추정량은 확률변수다. 추정량의 관측값을 간단히 추정치라고 한다.

이와 비슷하게 모분산 $\sigma^2$을 추정하기 위해 표본분산 $S^2$을 계산할 수도 있다. 이런식으로 모집단의 모수를 추정하기위해 그에 해당하는 통계량을 추정량으로 삼는다. 일반적인 모수를 $\theta$라고 나타내며, 추정량은 $\hat{\theta}$로 나타낸다.

모수가 $\theta$인 모집단 $X$의 분포함수는 $F_X(x; \theta)$로 나타낸다. 추정량 $\hat{\theta}$는 표본 $X_1,\cdots,X_n$의 함수이며, $\hat{\theta}(X_1,\cdots,X_n)$과 같이 나타낸다. 추정치는 $\hat{\theta}(x_1,\cdots,x_n)$이 된다.

표본의 함수인 추정량을 잘 만드는 것이 모수 추정의 핵심이다. 추정량을 만들 때 자주 쓰이는 방법으로, 적률 추정법과 최대가능도 추정법이 있다. 이번 글에서는 적률 추정법을 알아보자.

# 적률 추정법, 적률 추정량

적률 추정법(Method of Moments, MM; 矩估计法)은 모수를 먼저 모집단의 적률로 나타낸 후, 그 적률들을 모조리 표본적률로 바꾸는 방법이다. 적률 추정법을 통해 얻은 추정량을 적률 추정량(Method of Moments Estimator, MME; 矩估计量)이라고 한다.

$k$차 표본적률은 $A_k:=\frac{1}{n} \sum_{i=1}^{n}X_i^k$으로 정의한다. $k$차 모적률이 $\mu_k:=\mathbb{E}[X^k]$으로 정의되기 때문이다. 확률변수의 평균은 확률질량이라는 가중치가 있지만, 표본의 각 개체의 평균은 가중치가 없다. $n$개의 개체가 모두 동등하다고 생각하기 때문이다.

# 베르누이 분포의 적률 추정

모집단 $X\sim\mathrm{Bern}(p)$를 가정하자. 모수는 $p$이며 모수를 추정하기 위해, 표본 $X_1,\cdots,X_n$을 추출하고 추정량 $\hat{p}$를 만들어야 한다.

모집단의 1차적률 $\mu_1=\mathbb{E}[X]=p$이므로 $p=\mu_1$이다. $\mu_1$을 $A_1$로 대체하면

$$ \hat{p}=A_1=\frac{1}{n} \sum_{i=1}^{n}X_i^1=\overline{X} $$

가 된다. 베르누이 분포의 적률 추정량은 표본평균이다.

# 균등분포의 적률 추정

모집단 $X\sim\mathrm{U}[a,b]$를 가정하자. 이 경우 모수는 $a$와 $b$가 된다. 모수를 추정하기 위해, 표본 $X_1,\cdots,X_n$을 추출하고 $a$와 $b$의 추정량 $\hat{a}$, $\hat{b}$를 만들어야 한다.

미지수가 2개이므로 방정식도 2개를 만든다고 생각하면서, 2차적률까지 계산해보자.

$$ \begin{split} &\mu_1=\mathbb{E}[X]=\frac{a+b}{2} \\ &\mu_2=\mathbb{E}[X^2]=\mathrm{Var}[X]+\mathbb{E}[X]^2=\frac{(b-a)^2}{12}+\frac{(a+b)^2}{4} \end{split} $$

이 방정식을 모수 $a$, $b$에 대해 풀면 다음과 같다.

$$ \begin{split} &a=\mu_1-\sqrt{3(\mu_2-\mu_1^2)} \\ &b=\mu_1+\sqrt{3(\mu_2-\mu_1^2)} \end{split} $$

모집단의 $k$차 적률 $\mu_k$를 표본적률 $A_k$로 바꾸면 다음과 같이 모수의 추정량을 만들 수 있다.

$$ \begin{split} &\hat{a}=A_1-\sqrt{3(A_2-A_1^2)}=\overline{X}-\sqrt{\frac{3}{n}\sum_{i=1}^{n}(X_i-\overline{X})^2} \\ &\hat{b}=A_1+\sqrt{3(A_2-A_1^2)}=\overline{X}+\sqrt{\frac{3}{n}\sum_{i=1}^{n}(X_i-\overline{X})^2} \end{split} $$

# 일반적인 분포의 모평균, 모분산의 적률 추정

MME를 구할 때 꼭 모집단의 분포가 알려져야 하는 것은 아니다. 예를 들어 모집단의 분포함수를 모르더라도, 모평균과 모분산을 적률 추정법으로 추정할 수 있다. 모집단 $X$의 평균 $\mu$, 분산 $\sigma^2$을 가정하자. 1, 2차 적률을 계산하면

$$ \begin{split} &\mu_1=\mathbb{E}[X]=\mu \\ &\mu_2=\mathbb{E}[X^2]=\mathrm{Var}[X]+\mathbb{E}[X]^2=\sigma^2+\mu^2 \end{split} $$

이 방정식을 $\mu$와 $\sigma^2$에 대해 풀고, $\mu_k$를 $A_k$로 대체하면 다음과 같다.

$$ \begin{split} &\hat{\mu}=A_1=\overline{X} \\ &\hat{\sigma^2}=A_2-A_1^2=\frac{1}{n}\sum_{i=1}^{n}(X_i-\overline{X})^2 \end{split} $$

어떤 분포이든지 상관없이 모평균과 모분산의 적률 추정량이 표본평균과 표본의 2차 중심적률이라는 것이 중요하다.