#1. 정의
큰 수의 법칙(Law of Large Numbers, LLN; 大数定律)은 통계학에서 굉장히 중요한 법칙이며, 강한 버전과 약한 버전이 있다. 강한 버전은 거의 확실한 수렴, 약한 버전은 확률수렴을 요구한다. (확률변수의 수렴 참조.)
i.i.d. $X_i(i=1,2,\cdots)$의 기댓값을 $\mathbb{E}(X_i)=:\mu$로 놓자. 그리고 $X_i(i=1,2,\cdots,n)$의 산술평균을 $\frac{1}{n}\sum_{i=1}^{n} X_i=:\overline{X}_n$으로 놓자.
#1-1. 강한 큰 수의 법칙
다음이 성립할 때 $X_n$은 강한 큰 수의 법칙(Strong LLN, SLLN; 强大数定律)을 따른다고 표현하며, 기호로는 $X_n\in\mathrm{SLLN}$과 같이 나타낸다.
$$ \overline{X}_n\overset{\mathrm{a.s.}}{\to}\mu $$
상대적으로 강한 정도의 수렴인 거의 확실한 수렴을 요구하므로 이런 이름이 붙었다. 강한 큰 수의 법칙을 극한의 언어로 풀어서 쓰면 다음과 같다.
$$ P\left(\lim_{n\to\infty}\overline{X}_n=\mu\right)=1 $$
#1-2. 약한 큰 수의 법칙
다음이 성립할 때 $X_n$은 약한 큰 수의 법칙(Weak LLN, WLLN; 弱大数定律)을 따른다고 표현하며, 기호로는 $X_n\in\mathrm{WLLN}$과 같이 나타낸다.
$$ \overline{X}_n\overset{P}{\to}\mu $$
상대적으로 약한 정도의 수렴인 확률수렴을 요구하므로 이런 이름이 붙었다. 약한 큰 수의 법칙을 극한의 언어로 풀어서 쓰면 다음과 같다.
$$ \forall\epsilon >0:\lim_{n\to\infty}P\left(\vert\overline{X}_n-\mu\vert<\epsilon\right)=1 $$
#2. 의의
#2-1. 빈도=확률?
강한 LLN이든 약한 LLN이든 수렴의 강도는 다르지만, 모두 산술평균이 기댓값에 수렴한다는 뜻을 내포하고 있다. 따라서 평균과 기댓값을 같은 것 취급하여 논의하는 것이 가능해진다.
흔히 어떤 사건이 발생할 빈도(Frequency; 频率)를 구해놓고 확률을 구했다고 주장하는 것이 가능한 것도 바로 이 큰수의 법칙 덕분이다. 실제로 베르누이는 유한번의 베르누이 시행 중 사건 발생 빈도의 안정성(Stability; 稳定性)을 설명하기 위해 큰 수의 법칙을 연구했다.
$n$번째 베르누이 시행의 결과를 나타내는 확률변수 $X_n$의 기댓값은 $p$이다.
$$ \mathbb{E}(X)=1\cdot p+0\cdot(1-p)=p $$
따라서 $X_n$이 큰 수의 법칙(강한 것 가정)을 따른다면 다음이 성립한다.
$$ \overline{X}_n\overset{\mathrm{a.s.}}{\to}p $$
한편, $n$회의 베르누이 시행의 성공빈도는 $(\sum_{i=1}^{n}X_i)/n$으로 구하는데 이는 곧 $\overline{X}_n$이다. 따라서 $n$이 무한히 커짐에 따라 성공빈도는 성공확률에 거의 확실히 수렴한다.
즉, 시행횟수가 무한히 클 때, 빈도와 확률이 같지 않은 사건이 발생할 확률측도가 0이므로, 빈도와 확률을 거의 어디서나 같다고 취급하는 것이다. 이 역시 ‘사소한 것은 따지지 않는다!’의 좋은 예시이다. (거의 어디서나 참조.)
#2-2. 일반성
‘큰 수의 법칙’이 ‘법칙’이라고 불리는 이유는 일반적으로 성립하기 때문이다.
‘큰 수의 법칙이 항상 성립할까? 수렴하는 데 특정한 조건이 있지 않을까?’라는 의문을 해결하기 위해, 베르누이, 킨친, 콜모고로프 등 많은 수학자들이 이를 연구했고, 그 결과 강약을 불문하고 LLN이 성립하려면 다음과 같이 아주 단순한 조건만 있으면 된다는 사실을 밝혀냈다. 심지어 필요충분조건이다.
$$ \mathrm{i.i.d.}\enspace X_n의\enspace기댓값\enspace\mathbb{E}(X)가\enspace존재한다. $$
코시 분포(Cauchy Distribution; 柯西分布)같은 특수한 몇몇 케이스를 제외하면, 일반적으로 다뤄지는 분포들은 모두 기댓값이 존재한다. 사실 기댓값이 존재하지 않으면 수렴을 논할 필요도 없다. $X_n$이 독립항등분포를 따른다는 것도 베르누이 시행에서는 문제가 없다. 따라서 큰 수의 법칙은 통계학 전반에 적용되는 법칙이라고 할 수 있다.
