본문 바로가기

전체 글

(87)
합성곱 다음과 같이 정의된 연산을 함수 $f$와 $g$의 합성곱(Convolution; 卷积)이라고 하며 기호로는 $f\ast g$와 같이 나타낸다. $$ (f\ast g)(t):=\int_{-\infty}^{\infty}f(x)g(t-x)\space dx $$ 함수의 합성곱 연산은 여러가지 의미를 가질 수 있으나, 수리통계학에서는 흔히 서로 독립인 두 확률변수의 합의 분포를 의미한다. 늘 그랬듯이 이산인 경우와 연속인 경우로 나누어 생각해보자. #1. 이산분포의 합성곱 서로 독립인 두 이산확률변수 $X$와 $Y$의 분포를 각각 $f_X$와 $f_Y$로 놓으면, 새로운 변수 $Z=X+Y$의 분포 $f_Z=f_X \ast f_Y$이다. $$ f_Z(z)=\sum_{x=0}^{z}f_X(x)f_Y(z-x) $$ 다..
Box-Muller 변환 이번 글에서는 Box-Muller 변환에 대해 알아보자. Box Muller 변환을 통해 표준균등분포 $\mathrm{U}(0,1)$를 따르며 서로 독립인 두 확률변수 $X$, $Y$에 적절한 변환을 취하면 표준정규분포 $\mathrm{N}(0,1)$를 따르며 서로 독립인 두 확률변수 $U$, $V$를 얻을 수 있다. 변환 공식은 다음과 같다. $$ \begin{cases} U=\sqrt{-2\ln{X}}\cos{(2\pi Y)} \\ V=\sqrt{-2\ln{X}}\sin{(2\pi Y)} \end{cases} $$ 지난 글에서 소개한 확률벡터의 변환을 이용하여 확인해보자. (1) $u^2+v^2=-2\ln x$이므로 $x=\exp\left(-\frac{u^2+v^2}{2}\right)$이고, $$ x..
야코비 행렬식 야코비 행렬식 $J$는 적분을 계산할 때 흔히 다음과 같은 변환에서 등장한다. $$ dxdy=\lvert J \rvert\space dudv $$ 야코비 행렬식은 수리통계학에서도 확률변수의 변환을 진행할 때 ‘미분계수의 다차원 버전’으로서 자주 등장하는 편이므로 따로 정리할 필요가 있다. 이번 글에서는 편의를 위해 2차원의 변환을 다룰 것이나, 여기서 얻은 결론들은 임의의 $n$차원으로 확장할 수 있다. #1. 야코비 행렬 행렬식과 행렬은 뗄 수 없는 관계이다. 야코비 행렬식 $J$가 있다면 그에 해당하는 야코비 행렬(Jacobian Matrix; 雅可比矩阵) $\mathbf J$도 있을 것이다. 다시 말해, $J:=\det(\mathbf J)$인 것이다. 야코비 행렬 $\mathbf J$는 다음과 같이..
확률벡터의 변환 확률변수처럼 확률벡터 역시 변환된 형태로 응용되는 것이 일반적이다. 특히 2차원 확률벡터 $(X,Y)$에 대한 변환이 자주 등장하므로 이를 중심으로 살펴보자. #1. 이산확률벡터의 변환 최대, 최소변환과 합성곱(Convolution; 卷积)이 대표적이다. 각 게시글 참조. #2. 연속확률벡터의 변환 연속확률변수 $X$에 변환 $T$를 적용하여 얻은 새로운 연속확률변수 $Y=T(X)$의 확률밀도는 다음과 같이 구한다. (확률변수의 변환 참조.) $$ f_Y(y)=f_X(T^{-1}(y))\left\vert\frac{\mathrm{d}}{\mathrm{d}y} T^{-1}(y)\right\vert $$ 이것을 2차원으로 일반화 해보자. 확률벡터 $(X,Y)$와 $(U,V)$에 대해 다음과 같은 변환과 역변환..
확률변수의 변환 실제 응용에서 확률변수는 함수의 형태로 쓰이는 경우가 많다. 예를 들어 속력을 확률변수 $V$로 놓았을 때, 운동에너지 $K=\frac{1}{2}mV^{2}$은 $V$에 관한 함수이다. 이것은 확률변수 $V$에 변환 $T:t\mapsto\frac{1}{2}mt^{2}$를 적용한 것이라고 보아도 무방하다. 그런데 $V$의 분포를 이미 알고 있다면, 변환 $T$를 적용하여 얻은 $K$는 어떤 분포를 따르는지가 중요하다. 가령 $V\sim\mathrm{N}(\mu,\sigma^{2})$이라고 하면, $K\sim\mathrm{N}(\frac{1}{2}m\mu^{2},\frac{1}{2}m\sigma^{2})$인가? 확실하지 않다. 모수는 둘째치고, $K$가 정규분포를 따르는지의 여부도 장담할 수 없다. 이번 글..
결합분포, 주변분포, 조건부분포 #1. 결합분포 실제 응용 측면에서는 여러 확률변수를 동시에 다뤄야 하는 경우가 생긴다. 다변수함수가 있듯이, 다차원 확률변수의 분포함수 역시 있을 것이다. 다변수함수 $f(x,y)$는 $x$와 $y$의 함수로 볼 수도 있지만, $(x,y)$라는 이차원 벡터의 함수로 볼 수도 있다. 마찬가지로 $X$와 $Y$의 확률분포 역시 $(X,Y)$라는 이차원 확률벡터의 함수로 볼 수 있다. 일반적인 $n$차원 확률벡터와 그 분포의 정의는 다음과 같다. $\space$ $X_i(i=1,2,\cdots,n)$는 같은 확률공간 $(\Omega,\mathcal{F},P)$ 위에서 정의된 $n$개의 확률변수들이다. 이것들을 한데 모은 순서쌍 $\mathbf{X}:=(X_1,X_2,\cdots,X_n)$을 $n$차원 확률벡..
확률변수 #1. 확률변수의 정의 이번 글에서는 수리통계의 꽃인 확률변수(Random Variable, RV; 随机变量)를 엄밀하게 정의해보자. 확률변수는 사건의 결과를 숫자로 나타낸 것이다. 예를 들어 동전을 3회 던지는 확률시행에서 앞면이 두 번 나오는 사건은 다음과 같다. $$ \lbrace (H,H,T),(H,T,H),(T,H,H) \rbrace $$ 그렇다면 동전을 3회 던져 앞면이 두 번 나올 사건의 확률은 다음과 같을 것이다. $$ P(\lbrace (H,H,T),(H,T,H),(T,H,H) \rbrace) $$ 이렇게 확률은 나타내면 매우 번거롭다. 동전을 던지는 횟수가 늘어날 수록, 더욱 복잡한 표기가 필요할 것이다. 심지어 ‘동전을 100회 던져 앞면이 두 번 이상 10번 미만 나올 확률’같은 복..
베이즈 정리 확률의 곱셈공식은 다음과 같다. $$ P(AB)=P(A)P(B\mid A)=P(B)P(A\mid B) $$ 따라서 다음 등식이 성립한다. 이것이 바로 그 유명한 베이즈 정리(Bayes’ Theorem; 贝叶斯定理)이다. $$ P(A \mid B)=\frac{P(B\mid A)P(A)}{P(B)} $$ 한편, 임의의 사건 $B$는 다음과 같이 변형이 가능하다. 여기서 $\lbrace A_i \rbrace(i=1,2,\cdots,n)$는 $\Omega$의 분할(Partition; 分割)이다 (그림 참조). $$ B=B\Omega=B\left(\sum_{i=1}^nA_i\right)=\sum_{i=1}^nBA_i $$ 따라서 $P(B)$는 다음과 같이 구할 수 있다. 이것을 두고 전체확률의 법칙(Law of ..