본문 바로가기

전체 글

(87)
중심극한정리 예제 지난 글에서 소개한 중심극한정리는 안쓰이는 데가 없다고 할 정도로 광범위하게 응용된다. 몇가지 관련 예제와 해결법을 생각해보았고, 따로 정리한다. CLT 응용의 첫번째 핵심은 분포를 몰라도 문제해결에 지장이 없다고 과감하게 생각하는 것이다. 린데베르그 조건을 만족하면 중심극한정리가 성립하는데, 독립항등분포이면 무조건 만족하고, 독립항등분포는 아니더라도 독립이고, 극단적인 상황의 분산이 무시할 수 있을만큼 작다면 역시 만족한다. 후자의 경우, 심리학에서 인간의 IQ가 정규분포를 따른다고 가정한다는 예시를 논의했다. 독립항등분포나 극단적인 상황을 무시하는 것은 어떤 수학적 모델을 만드는데 흔히 깔고가는 가정이고, 따라서 CLT는 항상 성립한다고 봐도 무방하다. 이런 마인드를 갖고 몇가지 예제를 생각해보았다...
중심극한정리 확률변수 $X_i(i=1,2,\cdots)$에 대해 다음이 성립하면 $X_i$는 중심극한정리(Central Limit Theorem, CLT; 中心极限定理)를 따른다고 표현하고, 기호로는 $X_i\in\mathrm{CLT}$와 같이 나타낸다. $$ \frac{\sum_{i=1}^{n}X_i-\mathbb{E}\left(\sum_{i=1}^{n}X_i\right)}{\sqrt{\mathrm{Var}(\sum_{i=1}^{n}X_i)}}\overset{d}{\to}Z\sim\mathrm{N}(0,1) $$ 뭔가 복잡해 보이지만 차근차근 분석하면 어려울 것도 없다. 좌변의 분수는 사실 확률변수 $X_i$의 합을 표준화한 것이다. (Box-Muller 변환 참조.) 표준화는 확률변수의 평균을 0, 분산을 1로 ..
큰 수의 법칙 #1. 정의 큰 수의 법칙(Law of Large Numbers, LLN; 大数定律)은 통계학에서 굉장히 중요한 법칙이며, 강한 버전과 약한 버전이 있다. 강한 버전은 거의 확실한 수렴, 약한 버전은 확률수렴을 요구한다. (확률변수의 수렴 참조.) i.i.d. $X_i(i=1,2,\cdots)$의 기댓값을 $\mathbb{E}(X_i)=:\mu$로 놓자. 그리고 $X_i(i=1,2,\cdots,n)$의 산술평균을 $\frac{1}{n}\sum_{i=1}^{n} X_i=:\overline{X}_n$으로 놓자. #1-1. 강한 큰 수의 법칙 다음이 성립할 때 $X_n$은 강한 큰 수의 법칙(Strong LLN, SLLN; 强大数定律)을 따른다고 표현하며, 기호로는 $X_n\in\mathrm{SLLN}$과 같..
확률변수의 수렴 확률변수의 수렴의 개념은 수리통계학의 중요한 두 이론인 큰 수의 법칙과 중심극한정리를 이해하는 데 핵심사항이다. #0. 확률변수 수열 확률변수의 수렴을 논하기 전에, 반드시 짚고 가야하는 개념이 바로 ‘확률변수 수열’이다. ‘확률변수의 수렴’에서 ‘확률변수’는 여러개이기 때문이다. 영어로 하면 ‘Convergence of Random Variables’인데, ‘Variables’는 복수명사이다. 영어 원문 그대로의 뉘앙스를 살려 번역한다면 ‘확률변수들의 수렴’이겠지만, 그보다는 ‘확률변수의 수렴’이라고 번역하는게 깔끔하고 여기서 확률변수는 여러개임을 부연설명하는 것이 낫다. 확률변수가 여러개라는 것은 무슨 뜻일까? 동전던지기를 예로 들어보자. 동전던지기 시행의 결과는 베르누이 확률변수로 표현할 수 있다...
거의 어디서나 #1. 예시 확률변수 $X$와 $Y$의 분포를 그래프로 나타냈더니 다음과 같은 모습(파란색)이라고 하자. $X$는 확실히 0-1구간에서 균등분포를 따른다. 그런데 $Y$는 뭔가 이상하다. $Y=0.25$인 점에서 $f_Y(y)$가 갑자기 0.5의 값을 갖는다. 그 외의 점에서는 $f_X(x)$와 확률밀도가 같다. 이때, $Y$도 $X$처럼 0-1구간에서 균등분포를 따른다고 할 수 있을까? $P(a\le X\le b)$와 $P(a\le Y\le b)$를 구해보자. 이 확률은 빨간 빗금의 네모 부분의 면적인데, 점 하나가 그래프에서 어긋나 있다고해서 면적의 값이 달라지지는 않으므로 두 확률의 값은 항상 같다. 그렇다면 실제 응용측면에서는 $f_X$와 $f_Y$의 구별이 의미가 없다. 두 확률밀도는 명백히 다..
이차형식 이차형식은 원래 선형대수학의 내용에 가깝지만 수리통계학을 공부할 때 자주 등장하므로 따로 정리한다. #1. 이변량 이차함수 $x$와 $y$에 관한 이변량 이차함수(Bivariate Quadratic Function; 二元二次函数)는 다음과 같이 주어진다. 이변량 이차함수는 제곱항 $ax^2$, $cy^2$, 혼합항 $bxy$, 일차항 $dx$, $ey$, 그리고 상수 $f$로 이루어져 있다. $$ Q(x,y)=ax^2+bxy+cy^2+dx+ey+f $$ 이변수 함수의 그래프는 직교좌표계에서 곡면으로 그려지는데, 흔히 곡면의 성질을 연구하기 위해서 평평한 평면과 곡면의 교집합인 곡선을 연구한다. 예를 들어 그림의 곡면은 타원포물면이라는 이차곡면이고, 이변수 이차함수 $Q(x,y)$의 그래프의 여러가지 형태..
평균제곱오차와 선형예측 #1. 평균제곱오차 $X$라는 입력에 대해 $Y$를 출력하는 알고리즘이 있고, 이 알고리즘이 어떤 원리를 통해 $Y$를 출력하는지는 밝혀지지 않았다고 가정하자. 즉, 입력 $X$와 $Y$의 관계가 알려지지 않았다. 어떤 사람이 $Y=g(X)$라고 출력값을 예측한다고 하자. 이때, 예측의 오차는 $Y-g(X)$로 나타낼 수 있는데, 오차가 작을 수록 이 $g$는 $X$와 $Y$의 관계에 대한 좋은 예측이다. 따라서 자연스럽게 예측의 오차를 최소화하는 문제를 생각하게 된다. 입력값이 여러개이므로 출력값도 여러개이고, 예측값도 여러개일 것이다. 따라서 기댓값을 이용해 여러개의 예측 오차의 ‘평균적인’ 크기를 나타내기로 하자. 다만 ‘부호의 문제’를 피하기 위해, 분산을 정의했을 때와 비슷하게, 오차를 먼저 제..
이변량 정규분포 #1. 정의 확률벡터 $(X,Y)$가 이변량 정규분포(Bivariate Normal Distribution; 二元正态分布)를 따른다는 것을 다음과 같이 나타낸다. $$ (X,Y)\sim\mathrm{N}(\mu_1,\mu_2,\sigma^2_1,\sigma_2^2,\rho) $$ $(\mu_1,\mu_2,\sigma^2_1,\sigma_2^2,\rho)$는 이변량 정규분포의 모수이며, 다음과 같은 의미를 갖는다. $\space$ $\mu_1$, $\mu_2$: 각각 $X$와 $Y$의 기댓값이다. $\sigma_1$, $\sigma_2$: 각각 $X$와 $Y$의 분산이다. $\rho$: $X$와 $Y$의 상관계수이다. $\space$ 이변량 정규분포의 확률밀도함수는 다음과 같이 주어진다. $$ f(x,y)..