이벤트 발생 횟수와 대기 시간의 확률 모델들 (이항분포, 음이항분포, 푸아송 분포, 얼랑 분포)

이산 시간과 관련된 확률 모델

이산 시간 $N$의 관측치는 $n\in\lbrace1,2,\cdots\rbrace$처럼 셀 수 있는 무한이다.

흔히 [횟수]로 표현되고, 1회, 2회, …와 같이 셀 수 있다.

이산 시간에서 특정 이벤트는 $\theta$라는 일정한 발생확률을 가진다고 가정한다 ($\theta\in(0, 1)$).

발생 횟수의 확률 모델

주어진 $n$회의 관찰에서 ($n\in\lbrace1,2,\cdots\rbrace$) 발생 횟수 $X$의 확률분포는 이항분포이다.

이항분포의 확률질량함수와 주요 모멘트:

$$ Bin(x;n,\theta):={n \choose x}\theta^x(1-\theta)^{n-x},\quad x\in\lbrace 0,1,2,\cdots,n\rbrace $$

$$ E[X]=n\theta,\quad V[X]=n\theta(\theta -1) $$

이항분포에서 특별히 $n=1$인 경우를 베르누이 분포라고 한다. 단 1회의 관찰에서 특정 이벤트의 발생 횟수를 논의하는 것으로, 이때 $X$는 $0$ (미발생)또는 $1$ (발생)의 값만을 가질 수 있다.

대기 시간의 확률 모델

반대로 목표 발생 횟수 $x$가 주어질 때 ($x\in\lbrace 1,2,\cdots\rbrace$), 목표 달성까지의 대기 시간 $N$의 확률분포는 음이항분포이다.

음이항분포의 확률질량함수와 주요 모멘트:

$$ NB(n;x,\theta)={n-1\choose x-1}\theta^x(1-\theta)^{n-x},\quad n\in\lbrace x,x+1,\cdots\rbrace $$

$$ E[N]=\frac{x}{\theta},\quad V[N]=\frac{x(1-\theta)}{\theta^2} $$

음이항분포에서 특별히 $x=1$인 경우를 기하분포라고 한다. 최초 1회의 발생의 관측까지 대기 시간을 표현하는 분포이다.

연속 시간과 관련된 확률 모델

연속 시간 $T$의 관측치는 $t\in(0,\infty)$처럼 셀 수 없는 무한이다.

흔히 [초] 단위로 측정하지만 사실 이보다 더 미세한 단위도 가능하므로 사실상 셀 수 없다.

연속 시간에서 특정 이벤트는 $\lambda$라는 일정한 발생률을 가진다고 가정한다 ($\lambda\in(0,\infty)$).

!발생률은 발생확률이 아니라, 단위 시간에서 발생빈도를 표현한다. 예를 들어 1초에 3회 발생한다고 가정하면 $\lambda =3$ 회/초, 1년에 3회 발생한다고 가정하면 $\lambda=3$ 회/년이다. 단위 시간의 정의 방법에 따라 해석이 달라진다.

발생 횟수의 확률 모델

주어진 $t$시간의 관찰에서 ($t\in(0,+\infty)$) 발생 횟수 $X$의 확률분포는 푸아송 분포이다.

푸아송 분포의 확률질량함수와 주요 모멘트:

$$ Pois(x;t\lambda):=e^{-t\lambda}\frac{(t\lambda)^x}{x!},\quad x\in\lbrace 0,1,2\cdots\rbrace $$

$$ E[X]=t\lambda,\quad V[X]=t\lambda $$

푸아송 분포에서 $t=1$인 특별한 경우라도 분포의 이름은 달라지지 않는다. 그 의미는 단위 시간내 발생 횟수의 분포이다.

대기 시간의 확률 모델

반대로 목표 발생 횟수 $x$가 주어질 때 ($x\in\lbrace 1,2,\cdots\rbrace$), 목표 달성까지의 대기 시간 $T$의 확률분포는 얼랑 분포이다.

얼랑 분포의 확률밀도함수와 주요 모멘트:

$$ Erl(t;x,\lambda)=\frac{\lambda^x}{(x-1)!}t^{x-1}e^{-\lambda t},\quad t\in(0,\infty) $$

$$ E[T]=\frac{x}{\lambda},\quad V[T]=\frac{x}{\lambda^2} $$

얼랑 분포에서 $x=1$인 특별한 경우를 지수분포라고 한다. 기하분포와 마찬가지로 최초 1회의 발생의 관측까지 대기 시간을 표현하는 분포이지만, 대기 시간이 연속이라는 차이점이 있다.

얼랑 분포에서 $x$의 범위를 $(0,\infty)$와 같이 임의의 양의 실수로 확장한 경우 $(x-1)!$ 대신 $\Gamma(x)$를 사용하고, 이를 감마분포라고 한다. 감마분포에서 $x>0$을 Shape 파라미터, $\lambda>0$을 Rate 파라미터라고 한다.

확률분포 공식의 유도

이항분포

예를 들어 $n=5$를 가정하고 $P(X=3)$을 구해보자.

매 1회의 관찰에서 발생확률은 $\theta$이다. 총 $5$회의 관찰에서 $3$회의 발생과 $5-3$회의 발생이 있고, 각 관찰에서 발생 여부는 독립적이므로 확률을 곱하여 $\theta^{3}(1-\theta)^{3-2}$와 같은 확률을 생각할 수 있다.

여기서 추가로 총 $5$회의 관찰에서 정확히 언제 발생 했으며 발생하지 않았는지까지 고려한다.

이는 $5$개의 빈자리에 $3$개의 $1$ (발생)과 $5-3$개의 $0$ (미발생)을 배치하는 경우의 수를 따지는 문제로, 결과적으로 확률은 ${5\choose 3}\theta^{3}(1-\theta)^{5-3}$이 된다.

이를 일반화하면 $P(X=x)={n \choose x}\theta^x(1-\theta)^{n-x}$가 된다.

음이항분포

이번에는 $x=3$을 가정하고 $P(T=5)$를 구해본다.

총 $5$회의 관찰에서 마지막 $1$회는 발생으로 고정이다. 그리고 남은 $5-1$회의 관찰에서 $3-1$회의 발생과 $5-3$회의 미발생을 배치하는 경우의 수를 따진다.

따라서 확률은 $\theta^1\cdot{5-1\choose3-1}\theta^{3-1}(1-\theta)^{5-3}={5-1\choose3-1}\theta^3(1-\theta)^{5-3}$이다.

이를 일반화하면 $P(N=n)={n-1 \choose x-1}\theta^x(1-\theta)^{n-x}$가 된다.

푸아송 분포

주어진 $t$만큼의 연속 시간에서, $P(X=3)$을 구해보자. 이때, 관찰 횟수 $N$은 무한히 많다. 예를 들어 $t$가 1분일 때, 1초에 1회 관찰을 가정하면 60회, 0.1초에 1회의 관찰을 가정하면 600회, 0.001초에 1회의 관찰을 가정하면 6000회의 관찰이 필요하다. 연속 시간은 이보다 더 미세하게 분할할 수 있기 때문에 사실상 무한한 횟수의 관찰이 필요하다.

무한히 많은 관찰 횟수를 1분이라는 하나의 단위 시간으로 표현한다. 그리고 매 1회의 관찰에서 이벤트의 발생확률 $\theta$를 논의하는 대신, 하나의 단위 시간에서 이벤트의 발생률 $\lambda$을 논의한다.

예를 들어 이벤트가 1분에 3회 발생한다면 간단히 $\lambda = 3$이다. 1년에 3회 발생해도 $\lambda = 3$이다. 책 한 권을 읽는 동안 3개의 오타가 발견되어도 $\lambda=3$이다.

따라서 $P(X=x)={n \choose x}\theta^x(1-\theta)^{n-x}$에서 $n\to\infty,\theta=\frac{\lambda}{n}$를 가정하여 푸아송 분포를 얻는다.

$$ \begin{split} P(X=x) &=\lim_{n\to\infty} {n \choose x} (\frac{\lambda}{n})^x (1-\frac{\lambda}{n})^{n-x} \\ &=\lim_{n\to\infty} (\frac{n(n-1)\cdots[n-(x-1)]}{x!}) (\frac{\lambda^x}{n^x}) (1-\frac{\lambda}{n})^{n} (1-\frac{\lambda}{n})^{-x} \\ &= e^{-\lambda} \frac{\lambda^x}{x!} \end{split} $$

이것은 연속 시간에서 하나의 단위를 가정한 경우이다. 주어진 $t$만큼의 연속 시간에서는 $\lambda$를 $t\lambda$로 대체한다.

얼랑 분포

얼랑 분포의 누적확률분포 $P(T\le t)$를 먼저 구하고, 그것을 미분하여 확률밀도함수를 구한다.

$$ P(T\le t)=1-P(T>t) $$

여기서 $P(T> t)$는 다음과 같이 구한다. 단순하게 생각하면 $x$회 발생까지의 대기 시간이 $t$를 초과했다는 것은 $t$시간 동안 $x$회 미만의 발생을 의미한다. 그리고 $X$의 확률분포는 푸아송 분포이다.

$$ P(T>t)=P(X<x)=\sum_{r=0}^{x-1}P(X=r)=e^{-t\lambda}\sum_{r=0}^{x-1}\frac{(t\lambda)^{r}}{r!} $$

이제 이것을 위 식에 대입하고 미분하여 얼랑 분포의 확률밀도함수를 구한다.

$$ \begin{split} \frac{d}{dt}P(T\le t) &= \frac{d}{dt}(-e^{-t\lambda }\sum_{r=0}^{x-1}\frac{(t\lambda )^r}{r!}) \\ &=e^{-t\lambda }(\sum_{r=0}^{x-1}\frac{t^r\lambda^{r+1}}{r!} -\sum_{r=0}^{x-1}\frac{rt^{r-1}\lambda^r }{r!}) \\ &=e^{-t\lambda }(\sum_{r=0}^{x-1}\frac{t^r\lambda^{r+1}}{r!} -\sum_{r=1}^{x-1}\frac{t^{r-1}\lambda^r }{(r-1)!}) \quad\because \frac{r}{r!}=\frac{1}{(r-1)!}[r\not=0] \\ &=e^{-t\lambda }(\sum_{r=0}^{x-1}\frac{t^r\lambda^{r+1}}{r!} -\sum_{s=0}^{x-2}\frac{t^{s}\lambda^{s+1} }{s!}) \\ &=e^{-t\lambda }\frac{t^{x-1}\lambda^x }{(x-1)!} \end{split} $$

모멘트 공식의 유도

접근법

먼저 $n=1$, $t=1$, $x=1$과 같이 간단한 모델을 생각한다.

→ 이항분포 대신 베르누이 분포

→ 음이항분포 대신 기하분포

→ 일반적인 푸아송 분포 대신 단위 시간에서의 푸아송 분포

→ 얼랑 분포 대신 지수분포

기대치는 간단한 모델의 합을 이용하여 구하고, 이에 더해 각 관찰은 서로 독립이므로 분산도 합으로 구할 수 있다.

→ $Bin(x;n,\theta)=\bigoplus_n Bin(x;1,\theta)$

→ $NB(n;x,\theta)=\bigoplus_x NB(n;1,\theta)$

→ $Pois(x;t\lambda)=\bigoplus_t Pois(x;\lambda)$

→ $Erl(t; x, \lambda)=\bigoplus_xErl(t;1,\lambda)$

베르누이 분포, 이항분포의 기대치와 분산

베르누이 분포의 확률질량함수는 $Bin(x;1,\theta)=\theta^x(1-\theta)^{1-x},\quad x\in\lbrace0,1\rbrace$이고

$$ \begin{split} &E[X]=\sum_x x\theta^x(1-\theta)^{1-x}=0\cdot(1-\theta)+1\cdot\theta=\theta \\ &E[X^2]=\sum_x x^2\theta^x(1-\theta)^{1-x}=0^2\cdot(1-\theta)+1^2\cdot\theta=\theta \\ &V[X]=E[X^2]-E[X]^2=\theta(1-\theta) \end{split} $$

이항분포는 여기에 관찰 시간 $n$만큼 곱해주면 된다.

기하분포, 음이항분포의 기대치와 분산

기하분포의 확률질량함수는 $NB(n; 1,\theta)=\theta(1-\theta)^{n-1},\quad n\in\lbrace1,2,\cdots\rbrace$이고

$$ \begin{split} &E[N]=\theta\sum_{n=1}^\infty n(1-\theta)^{n-1}=\theta\cdot\frac{1}{(1-(1-\theta))^2}=\frac{1}{\theta} \\ &E[N^2]=\theta\sum_{n=1}^\infty n^2(1-\theta)^{n-1}=\theta\cdot\frac{1+(1-\theta)}{(1-(1-\theta))^3}=\frac{2-\theta}{\theta^2} \\ &V[N]=E[N^2]-E[N]^2=\frac{1-\theta}{\theta^2} \end{split} $$

음이항분포는 여기에 목표 발생 횟수 $x$만큼 곱해주면 된다.

푸아송 분포의 기대치와 분산

단위 시간에서 푸아송 분포의 확률질량함수는 $Pois(x;\lambda)= e^{-\lambda} \frac{ \lambda^x }{x!},\quad x\in\lbrace0,1,2,\cdots\rbrace$이고,

테일러 급수 $\sum_{x=0}^\infty\frac{\lambda^{x}}{x!}=e^\lambda$를 이용한다.

$$ E[X]=e^{-\lambda}\sum_{x=0}^\infty x\frac{\lambda^x}{x!}=e^{-\lambda}\sum_{x=1}^\infty x\frac{\lambda^x}{x!}=\lambda e^{-\lambda}\sum_{x=1}^\infty\frac{\lambda^{x-1}}{(x-1)!}=\lambda e^{-\lambda}\cdot e^\lambda=\lambda $$

이제 $E[X^2]$을 계산하는데 $x^2=x(x-1)+x$라는 트릭을 사용한다.

$$ \begin{split} E[X^2]&=e^{-\lambda}\sum_{x=0}^\infty x^2\frac{\lambda^x}{x!}=e^{-\lambda}\sum_{x=1}^\infty x^2\frac{\lambda^x}{x!} \\&=e^{-\lambda}\sum_{x=1}^{\infty}x(x-1)\frac{\lambda^x}{x!}+e^{-\lambda}\sum_{x=1}^\infty x \frac{\lambda^x}{x!} \\&=e^{-\lambda}\sum_{x=2}^{\infty}x(x-1)\frac{\lambda^x}{x!}+\lambda \\&=\lambda^2e^{-\lambda}\sum_{x=2}^{\infty}\frac{\lambda^{x-2}}{(x-2)!}+\lambda=\lambda^2+\lambda \end{split} $$

따라서 $V[X]=E[X^2]-E[X]^2=\lambda$이다.

임의의 $t$시간에서 푸아송 분포는 여기에 $t$를 곱해준다.

지수분포, 얼랑 분포의 기대치와 분산

지수분포의 확률밀도함수는 $Erl(t; 1,\lambda)=\lambda e^{-\lambda t},\quad t\in(0,\infty)$이고

$$ \begin{split} &E[T]=\lambda\int_0^{\infty}t e^{-\lambda t}dt=\lambda\cdot\frac{1}{\lambda^2}=\frac{1}{\lambda} \\ &E[T^2]=\lambda\int_0^{\infty}t^2 e^{-\lambda t}dt=\lambda\cdot\frac{2!}{\lambda^3}=\frac{2}{\lambda^2} \\ &V[T]=E[T^2]-E[T]=\frac{1}{\lambda^2} \end{split} $$

얼랑 분포는 여기에 목표 발생 횟수 $x$만큼 곱해준다.