적률, 적률생성함수

글 내용을 요약하는 그림:

#1. 적률

#1-1. 정의

---

확률변수 $X$의 $n$차 적률($n$-th Moment; $n$阶矩)을 다음과 같이 정의한다. 아래의 중심적률과 비교해서 $n$차 원적률($n$-th Raw Moment; $n$阶原点矩)이라고도 한다.

$$\mu_n:=\mathbb{E}[X^n]=\int_{-\infty}^{\infty}x^n\space dF_X(x)(n=1,2,\cdots)$$

---

확률변수 $X$의 $n$차 중심적률($n$-th Central Moment; $n$阶中心矩)을 다음과 같이 정의한다. 여기서 $\mu:=\mu_1=\mathbb E[X]$이다. 기댓값은 자주 쓰이는 적률이므로 특별히 첨자를 생략한다.

$$\bar\mu_n:=\mathbb{E}[(X-\mu)^n]=\int_{-\infty}^{\infty}(x-\mu)^n\space dF_X(x)(n=1,2,\cdots)$$

---

확률변수 $X$의 $n$차 표준화적률($n$-th Standardized Moment; $n$阶标准矩)을 다음과 같이 정의한다. 여기서 $\sigma:=\sqrt{\mu_2}=\mathrm{SD}[X]$이다.

$$\begin{split} {\mu}_n^{\ast}:=\frac{\bar\mu_n}{\sigma^n}&=\frac{\mathbb{E}[(X-\mu)^n]}{(\mathbb{E}[(X-\mu)^2])^{n/2}} \\[3ex]&=\mathbb{E}\left[ \left(\frac{X-\mu}{\sigma}\right)^{n}\right](n=1,2, \cdots) \end{split}$$

---

#1-2. 의의

정의에 의해, 지금까지 논의했던 확률변수의 기댓값 $\mathbb{E}[X]$는 1차 적률 $\mu_1$이고 분산 $\mathrm{Var}[X]$는 2차 중심적률 $\bar\mu_2$이다. 한편, $\mathrm{Var}[X]=\mathbb{E}[X^2]-(\mathbb{E}[X])^2$이므로 다음이 성립한다.

$$\bar\mu_2=\mu_2-\mu_1^2$$

각종 적률은 확률변수의 분포를 묘사한다는 데 의의가 있다.

예를 들어 0차 적률이 데이터 과학자한테 주는 정보는 뭘까? $\mathbb{E}[X^0]=\int_{-\infty}^{\infty}x^0\space dF_X(x)\equiv1$, 즉 모든 확률을 더한 것이 1‘이어야 함’을 알려준다. 이 사실은 확률공간 에서는 기본적으로 성립해야 하는 사항으로, 임의의 확률밀도가 이 조건을 만족하지 않는다면 만족하도록 만들어야 한다. 자주쓰이는 방식이 정규화상수를 곱해주는 것으로, 베타분포가 대표적인 예시이다. (베타분포의 이해 참조.)

1차 적률은 확률변수의 수학적인 기댓값이다. 기댓값은 중심경향치 중 하나이며, 이 정보를 통해 확률변수의 관찰값이 대략 어떤 값을 기준으로 분포하는지 묘사할 수 있다. 2차 중심적률인 분산은 확률변수의 관찰값이 흩어진 정도를 나타낸다.

평균과 분산에 더해, 3차 표준화적률인 왜도는 분포의 비대칭정도를, 4차 표준화적률인 첨도는 꼬리의 두께를 나타낸다. (왜도, 첨도 참조.)

이렇게 더 높은 차원의 적률을 곁들일 수록, 더 정확하게 분포를 묘사할 수 있다. 데이터를 보고 평균, 분산, 왜도, 첨도까지 논의하는 것이 일반적이며, 이 과정에서 자연스럽게 중앙값, 최빈값, 극단값 등 적률이 아니지만 분포를 묘사하는 데 중요한 값들도 함께 고려하게 된다.

#2. 적률생성함수

#2.1 정의, 작동원리

확률변수 $X$의 적률생성함수(Moment Generating Function, MGF; 矩母函数)는 다음과 같이 정의된다.

$$M_X(t):=\mathbb{E}[e^{tX}]=\int_{-\infty}^{\infty}e^{tx}\space dF_X(x)$$

이 함수의 용도는 문자 그대로 적률을 ‘생성’하는 것이다. 임의의 $n$차 적률은 적률생성함수의 $n$계도함수를 구한 다음, 0을 대입하면 구할 수 있다.

어떻게 이게 가능할까? 우선 $e^{tX}$를 매클로린 급수(Maclaurin Series; 麦克劳林级数)로 나타내면

$$e^{tX}=1+tX+\frac{(tX)^2}{2!}+\frac{(tX)^3}{3!}+\cdots+\frac{(tX)^n}{n!}$$

이므로, 이것의 기댓값을 구하면

$$\mathbb E[e^{tX}]=1+t\mathbb E[X]+\frac{t^2\mathbb E[X^2]}{2!}+\frac{t^3\mathbb E[X^3]}{3!}+\cdots+\frac{t^n\mathbb E[X^n]}{n!}$$

$M_X(t):=\mathbb E[e^{tX}]$를 $t$에 관해 1번 미분하고 $t=0$을 대입하면 $\mathbb E[X]$이고, 2번 미분한다음 $t=0$을 대입하면 $\mathbb E[X^2]$이 되는 것이 보인다. 이 사실을 일반화 하면 적률생성함수로부터 적률을 생성하는 공식을 얻는다.

$$M_X^{(n)}(0)=\mathbb{E}[X^n]=\mu_n$$

#2.2 중심적률, 표준화적률 구하기

적률생성함수가 생성하는 것은 원적률 $\mu_n$이다. 하지만 중심적률이나 표준화적률 역시 적률생성함수를 이용하여 구할 수 있다. 중심적률이나 표준화적률이 원적률로 표현될 수 있음을 이용하는 것이다.

2차 중심적률인 분산을 2차 원적률에서 1차 원적률의 제곱을 뺀 것으로 나타내는 것은 이미 유명하다.

$$\begin{split} \mathbb{E}[(X-\mu)^2]&=\mathbb{E}[X^2-2X\mu+\mu^2] \\ &=\mathbb{E}[X^2]-2\mu\mathbb{E}[X]+\mu^2 \end{split}$$

3차 중심적률을 고려해보면

$$\begin{split} \mathbb{E}[(X-\mu)^3]&=\mathbb{E}[X^3-3X^2\mu+3X\mu^2-\mu^3] \\ &=\mathbb{E}[X^3]-3\mu\mathbb{E}[X^2]+3\mu^2\mathbb{E}[X]-\mu^3 \end{split}$$

식에서 $\mu=\mathbb{E}[X]$이므로 결국 원적률만으로 3차 중심적률을 나타낼 수 있다. 3차 표준화적률은 3차 중심적률에서 2차 중심적률의 3/2승을 나눈 것이므로 역시 원적률만으로 나타낼 수 있다. 이런 식으로 임의의 $n$차 중심적률과 표준화적률을 원적률만으로 나타낼 수 있다. 따라서 적률생성함수는 모든 종류의 적률을 구하는 데 쓸 수 있다.

#2.3 MGF와 분포의 관계

결국 어떤 확률변수의 적률생성함수를 알면, 모든 적률을 구할 수 있다. 모든 적률을 구할 수 있다는 것은, 그 확률변수의 수학적인 중심경향치, 관찰값이 흩어진 정도, 비대칭도, 꼬리의 두께 등 그 확률변수 분포의 ‘모든 정보’를 알고있다는 것과 마찬가지이다.

이처럼 적률생성함수는 확률변수의 분포를 이해하는 데 아주 중요한 역할을 한다. 그렇다면 자연스럽게 다음과 같은 의문을 떠올리게 된다. 즉 MGF와 CDF(연속: PDF, 이산: PMF)의 관계를 생각하게 된다.

$$적률생성함수가\enspace같으면\enspace분포도\enspace같을까? \\ 분포가\enspace같으면\enspace적률생성함수도\enspace같을까?$$

우선, 실제로 분포가 같다면 적률생성함수가 같음은 쉽게 알 수 있다. 적률생성함수 $M_X(t)$는 $\int_{-\infty}^{\infty}e^{tx}\space dF_X(x)$로 구하기 때문이다.

다음으로 적률생성함수가 같으면 같은 분포임을 보이자. 연속확률변수 $X$와 $Y$에 대해,

$$\begin{split} M_X(t)&=M_Y(t) \\ \int_{-\infty}^{\infty}e^{tu}f_X(u)\space du&=\int_{-\infty}^{\infty}e^{tu}f_Y(u)\space du \\ \int_{-\infty}^{\infty}e^{tu}(f_X(u)-f_Y(u))\space du&=0 \\ f_X(u)-f_Y(u)&=0 \\ f_X(u)&=f_Y(u) \end{split}$$

비슷한 방식으로 이산인 경우에 대해서도 이 사실이 성립한다.

결국 MGF가 같다는 것은 분포가 같다는 것과 동치이다. 따라서 MGF는 확률변수의 제2의 분포라고도 생각할 수 있다. 어떤 두 분포가 같다는 것을 증명하기 위해 MGF가 같다는 것을 대신 증명할 수도 있겠다.

#3. 적률, 적률생성함수의 존재성

지금까지의 논의는 어디까지나 MGF가 존재한다고 했을 때 가능하다. MGF는 적분으로 계산한 결과물이고, 적분이 항상 수렴한다는 보장이 없으므로 존재하지 않을 수도 있다. 마찬가지로 각종 적률 역시 적분이 발산하여 존재하지 않을 수도 있다.

적률이 만능은 아니다. 하지만 적률이 존재하지 않는다고 해서 확률분포의 특징을 논의할 수 없는 것은 아니다. 적률이 아닌 값인 중앙값, 최빈값, 극단값은 여전히 유효하기 때문이다.