이벤트 발생 횟수와 대기 시간의 확률 모델들 (이항분포, 음이항분포, 푸아송 분포, 얼랑 분포)

이산 시간과 관련된 확률 모델

이산 시간 $N$의 관측치는 $n\in \{1,2,\cdots \}$처럼 셀 수 있는 무한이다.

흔히 [횟수]로 표현되고, 1회, 2회, …와 같이 셀 수 있다.

이산 시간에서 특정 이벤트는 $\theta$라는 일정한 발생확률을 가진다고 가정한다 ($\theta \in (0,1)$).

발생 횟수의 확률 모델

주어진 $n$회의 관찰에서 ($n\in \{1,2,\cdots \}$) 발생 횟수 $X$의 확률분포는 이항분포이다.

이항분포의 확률질량함수와 주요 모멘트:

$$Bin(x;n,\theta ):=(\genfrac{}{}{0ex}{}{n}{x}){\theta }^x(1-\theta {)}^{n-x},x\in \{0,1,2,\cdots ,n\}$$

$$E[X]=n\theta ,V[X]=n\theta (\theta -1)$$

이항분포에서 특별히 $n=1$인 경우를 베르누이 분포라고 한다. 단 1회의 관찰에서 특정 이벤트의 발생 횟수를 논의하는 것으로, 이때 $X$는 $0$ (미발생)또는 $1$ (발생)의 값만을 가질 수 있다.

대기 시간의 확률 모델

반대로 목표 발생 횟수 $x$가 주어질 때 ($x\in \{1,2,\cdots \}$), 목표 달성까지의 대기 시간 $N$의 확률분포는 음이항분포이다.

음이항분포의 확률질량함수와 주요 모멘트:

$$NB(n;x,\theta )=(\genfrac{}{}{0ex}{}{n-1}{x-1}){\theta }^x(1-\theta {)}^{n-x},n\in \{x,x+1,\cdots \}$$

$$E[N]=\frac{x}{\theta },V[N]=\frac{x(1-\theta )}{{\theta }^2}$$

음이항분포에서 특별히 $x=1$인 경우를 기하분포라고 한다. 최초 1회의 발생의 관측까지 대기 시간을 표현하는 분포이다.

연속 시간과 관련된 확률 모델

연속 시간 $T$의 관측치는 $t\in (0,\mathrm{\infty })$처럼 셀 수 없는 무한이다.

흔히 [초] 단위로 측정하지만 사실 이보다 더 미세한 단위도 가능하므로 사실상 셀 수 없다.

연속 시간에서 특정 이벤트는 $\lambda$라는 일정한 발생률을 가진다고 가정한다 ($\lambda \in (0,\mathrm{\infty })$).

!발생률은 발생확률이 아니라, 단위 시간에서 발생빈도를 표현한다. 예를 들어 1초에 3회 발생한다고 가정하면 $\lambda =3$ 회/초, 1년에 3회 발생한다고 가정하면 $\lambda =3$ 회/년이다. 단위 시간의 정의 방법에 따라 해석이 달라진다.

발생 횟수의 확률 모델

주어진 $t$시간의 관찰에서 ($t\in (0,+\mathrm{\infty })$) 발생 횟수 $X$의 확률분포는 푸아송 분포이다.

푸아송 분포의 확률질량함수와 주요 모멘트:

$$Pois(x;t\lambda ):=e^{-t\lambda }\frac{(t\lambda {)}^x}{x!},x\in \{0,1,2\cdots \}$$

$$E[X]=t\lambda ,V[X]=t\lambda$$

푸아송 분포에서 $t=1$인 특별한 경우라도 분포의 이름은 달라지지 않는다. 그 의미는 단위 시간내 발생 횟수의 분포이다.

대기 시간의 확률 모델

반대로 목표 발생 횟수 $x$가 주어질 때 ($x\in \{1,2,\cdots \}$), 목표 달성까지의 대기 시간 $T$의 확률분포는 얼랑 분포이다.

얼랑 분포의 확률밀도함수와 주요 모멘트:

$$Erl(t;x,\lambda )=\frac{{\lambda }^x}{(x-1)!}{t}^{x-1}{e}^{-\lambda t},t\in (0,\mathrm{\infty })$$

$$E[T]=\frac{x}{\lambda },V[T]=\frac{x}{{\lambda }^2}$$

얼랑 분포에서 $x=1$인 특별한 경우를 지수분포라고 한다. 기하분포와 마찬가지로 최초 1회의 발생의 관측까지 대기 시간을 표현하는 분포이지만, 대기 시간이 연속이라는 차이점이 있다.

얼랑 분포에서 $x$의 범위를 $(0,\mathrm{\infty })$와 같이 임의의 양의 실수로 확장한 경우 $(x-1)!$ 대신 $\mathrm{\Gamma }(x)$를 사용하고, 이를 감마분포라고 한다. 감마분포에서 $x>0$을 Shape 파라미터, $\lambda >0$을 Rate 파라미터라고 한다.

확률분포 공식의 유도

이항분포

예를 들어 $n=5$를 가정하고 $P(X=3)$을 구해보자.

매 1회의 관찰에서 발생확률은 $\theta$이다. 총 $5$회의 관찰에서 $3$회의 발생과 $5-3$회의 발생이 있고, 각 관찰에서 발생 여부는 독립적이므로 확률을 곱하여 ${\theta }^3(1-\theta {)}^{3-2}$와 같은 확률을 생각할 수 있다.

여기서 추가로 총 $5$회의 관찰에서 정확히 언제 발생 했으며 발생하지 않았는지까지 고려한다.

이는 $5$개의 빈자리에 $3$개의 $1$ (발생)과 $5-3$개의 $0$ (미발생)을 배치하는 경우의 수를 따지는 문제로, 결과적으로 확률은 $(\genfrac{}{}{0ex}{}{5}{3}){\theta }^3(1-\theta {)}^{5-3}$이 된다.

이를 일반화하면 $P(X=x)=(\genfrac{}{}{0ex}{}{n}{x}){\theta }^x(1-\theta {)}^{n-x}$가 된다.

음이항분포

이번에는 $x=3$을 가정하고 $P(T=5)$를 구해본다.

총 $5$회의 관찰에서 마지막 $1$회는 발생으로 고정이다. 그리고 남은 $5-1$회의 관찰에서 $3-1$회의 발생과 $5-3$회의 미발생을 배치하는 경우의 수를 따진다.

따라서 확률은 ${\theta }^1\cdot (\genfrac{}{}{0ex}{}{5-1}{3-1}){\theta }^{3-1}(1-\theta {)}^{5-3}=(\genfrac{}{}{0ex}{}{5-1}{3-1}){\theta }^3(1-\theta {)}^{5-3}$이다.

이를 일반화하면 $P(N=n)=(\genfrac{}{}{0ex}{}{n-1}{x-1}){\theta }^x(1-\theta {)}^{n-x}$가 된다.

푸아송 분포

주어진 $t$만큼의 연속 시간에서, $P(X=3)$을 구해보자. 이때, 관찰 횟수 $N$은 무한히 많다. 예를 들어 $t$가 1분일 때, 1초에 1회 관찰을 가정하면 60회, 0.1초에 1회의 관찰을 가정하면 600회, 0.001초에 1회의 관찰을 가정하면 6000회의 관찰이 필요하다. 연속 시간은 이보다 더 미세하게 분할할 수 있기 때문에 사실상 무한한 횟수의 관찰이 필요하다.

무한히 많은 관찰 횟수를 1분이라는 하나의 단위 시간으로 표현한다. 그리고 매 1회의 관찰에서 이벤트의 발생확률 $\theta$를 논의하는 대신, 하나의 단위 시간에서 이벤트의 발생률 $\lambda$을 논의한다.

예를 들어 이벤트가 1분에 3회 발생한다면 간단히 $\lambda =3$이다. 1년에 3회 발생해도 $\lambda =3$이다. 책 한 권을 읽는 동안 3개의 오타가 발견되어도 $\lambda =3$이다.

따라서 $P(X=x)=(\genfrac{}{}{0ex}{}{n}{x}){\theta }^x(1-\theta {)}^{n-x}$에서 $n\to \mathrm{\infty },\theta =\frac{\lambda }{n}$를 가정하여 푸아송 분포를 얻는다.

$$\begin{array}{rl}P(X=x)& =\underset{n\to \mathrm{\infty }}{lim}(\genfrac{}{}{0ex}{}{n}{x})(\frac{\lambda }{n}{)}^x(1-\frac{\lambda }{n}{)}^{n-x}\\ & =\underset{n\to \mathrm{\infty }}{lim}(\frac{n(n-1)\cdots [n-(x-1)]}{x!})(\frac{{\lambda }^x}{n^x})(1-\frac{\lambda }{n}{)}^n(1-\frac{\lambda }{n}{)}^{-x}\\ & =e^{-\lambda }\frac{{\lambda }^x}{x!}\end{array}$$

이것은 연속 시간에서 하나의 단위를 가정한 경우이다. 주어진 $t$만큼의 연속 시간에서는 $\lambda$를 $t\lambda$로 대체한다.

얼랑 분포

얼랑 분포의 누적확률분포 $P(T\le t)$를 먼저 구하고, 그것을 미분하여 확률밀도함수를 구한다.

$$P(T\le t)=1-P(T>t)$$

여기서 $P(T>t)$는 다음과 같이 구한다. 단순하게 생각하면 $x$회 발생까지의 대기 시간이 $t$를 초과했다는 것은 $t$시간 동안 $x$회 미만의 발생을 의미한다. 그리고 $X$의 확률분포는 푸아송 분포이다.

$$P(T>t)=P(X<x)=\sum _{r=0}^{x-1}P(X=r)=e^{-t\lambda }\sum _{r=0}^{x-1}\frac{(t\lambda {)}^r}{r!}$$

이제 이것을 위 식에 대입하고 미분하여 얼랑 분포의 확률밀도함수를 구한다.

$$\begin{array}{rl}\frac{d}{dt}P(T\le t)& =\frac{d}{dt}(-e^{-t\lambda }\sum _{r=0}^{x-1}\frac{(t\lambda {)}^r}{r!})\\ & =e^{-t\lambda }(\sum _{r=0}^{x-1}\frac{t^r{\lambda }^{r+1}}{r!}-\sum _{r=0}^{x-1}\frac{r{t}^{r-1}{\lambda }^r}{r!})\\ & =e^{-t\lambda }(\sum _{r=0}^{x-1}\frac{t^r{\lambda }^{r+1}}{r!}-\sum _{r=1}^{x-1}\frac{t^{r-1}{\lambda }^r}{(r-1)!})\because \frac{r}{r!}=\frac{1}{(r-1)!}[r\ne 0]\\ & =e^{-t\lambda }(\sum _{r=0}^{x-1}\frac{t^r{\lambda }^{r+1}}{r!}-\sum _{s=0}^{x-2}\frac{t^s{\lambda }^{s+1}}{s!})\\ & =e^{-t\lambda }\frac{t^{x-1}{\lambda }^x}{(x-1)!}\end{array}$$

모멘트 공식의 유도

접근법

먼저 $n=1$, $t=1$, $x=1$과 같이 간단한 모델을 생각한다.

→ 이항분포 대신 베르누이 분포

→ 음이항분포 대신 기하분포

→ 일반적인 푸아송 분포 대신 단위 시간에서의 푸아송 분포

→ 얼랑 분포 대신 지수분포

기대치는 간단한 모델의 합을 이용하여 구하고, 이에 더해 각 관찰은 서로 독립이므로 분산도 합으로 구할 수 있다.

→ $Bin(x;n,\theta )=\underset{n}{⨁}Bin(x;1,\theta )$

→ $NB(n;x,\theta )=\underset{x}{⨁}NB(n;1,\theta )$

→ $Pois(x;t\lambda )=\underset{t}{⨁}Pois(x;\lambda )$

→ $Erl(t;x,\lambda )=\underset{x}{⨁}Erl(t;1,\lambda )$

베르누이 분포, 이항분포의 기대치와 분산

베르누이 분포의 확률질량함수는 $Bin(x;1,\theta )={\theta }^x(1-\theta {)}^{1-x},x\in \{0,1\}$이고

$$\begin{array}{rl}& E[X]=\sum _{x}x{\theta }^x(1-\theta {)}^{1-x}=0\cdot (1-\theta )+1\cdot \theta =\theta \\ & E[X^2]=\sum _x{x}^2{\theta }^x(1-\theta {)}^{1-x}=0^2\cdot (1-\theta )+1^2\cdot \theta =\theta \\ & V[X]=E[X^2]-E[X{]}^2=\theta (1-\theta )\end{array}$$

이항분포는 여기에 관찰 시간 $n$만큼 곱해주면 된다.

기하분포, 음이항분포의 기대치와 분산

기하분포의 확률질량함수는 $NB(n;1,\theta )=\theta (1-\theta {)}^{n-1},n\in \{1,2,\cdots \}$이고

$$\begin{array}{rl}& E[N]=\theta \sum _{n=1}^{\mathrm{\infty }}n(1-\theta {)}^{n-1}=\theta \cdot \frac{1}{(1-(1-\theta ){)}^2}=\frac{1}{\theta }\\ & E[N^2]=\theta \sum _{n=1}^{\mathrm{\infty }}{n}^2(1-\theta {)}^{n-1}=\theta \cdot \frac{1+(1-\theta )}{(1-(1-\theta ){)}^3}=\frac{2-\theta }{{\theta }^2}\\ & V[N]=E[N^2]-E[N{]}^2=\frac{1-\theta }{{\theta }^2}\end{array}$$

음이항분포는 여기에 목표 발생 횟수 $x$만큼 곱해주면 된다.

푸아송 분포의 기대치와 분산

단위 시간에서 푸아송 분포의 확률질량함수는 $Pois(x;\lambda )=e^{-\lambda }\frac{{\lambda }^x}{x!},x\in \{0,1,2,\cdots \}$이고,

테일러 급수 $\sum _{x=0}^{\mathrm{\infty }}\frac{{\lambda }^x}{x!}=e^{\lambda }$를 이용한다.

$$E[X]=e^{-\lambda }\sum _{x=0}^{\mathrm{\infty }}x\frac{{\lambda }^x}{x!}=e^{-\lambda }\sum _{x=1}^{\mathrm{\infty }}x\frac{{\lambda }^x}{x!}=\lambda e^{-\lambda }\sum _{x=1}^{\mathrm{\infty }}\frac{{\lambda }^{x-1}}{(x-1)!}=\lambda e^{-\lambda }\cdot e^{\lambda }=\lambda$$

이제 $E[X^2]$을 계산하는데 $x^2=x(x-1)+x$라는 트릭을 사용한다.

$$\begin{array}{rl}E[X^2]& =e^{-\lambda }\sum _{x=0}^{\mathrm{\infty }}{x}^2\frac{{\lambda }^x}{x!}=e^{-\lambda }\sum _{x=1}^{\mathrm{\infty }}{x}^2\frac{{\lambda }^x}{x!}\\ & =e^{-\lambda }\sum _{x=1}^{\mathrm{\infty }}x(x-1)\frac{{\lambda }^x}{x!}+e^{-\lambda }\sum _{x=1}^{\mathrm{\infty }}x\frac{{\lambda }^x}{x!}\\ & =e^{-\lambda }\sum _{x=2}^{\mathrm{\infty }}x(x-1)\frac{{\lambda }^x}{x!}+\lambda \\ & ={\lambda }^2{e}^{-\lambda }\sum _{x=2}^{\mathrm{\infty }}\frac{{\lambda }^{x-2}}{(x-2)!}+\lambda ={\lambda }^2+\lambda \end{array}$$

따라서 $V[X]=E[X^2]-E[X{]}^2=\lambda$이다.

임의의 $t$시간에서 푸아송 분포는 여기에 $t$를 곱해준다.

지수분포, 얼랑 분포의 기대치와 분산

지수분포의 확률밀도함수는 $Erl(t;1,\lambda )=\lambda e^{-\lambda t},t\in (0,\mathrm{\infty })$이고

$$\begin{array}{rl}& E[T]=\lambda {\int }_0^{\mathrm{\infty }}t{e}^{-\lambda t}dt=\lambda \cdot \frac{1}{{\lambda }^2}=\frac{1}{\lambda }\\ & E[T^2]=\lambda {\int }_0^{\mathrm{\infty }}{t}^2{e}^{-\lambda t}dt=\lambda \cdot \frac{2!}{{\lambda }^3}=\frac{2}{{\lambda }^2}\\ & V[T]=E[T^2]-E[T]=\frac{1}{{\lambda }^2}\end{array}$$

얼랑 분포는 여기에 목표 발생 횟수 $x$만큼 곱해준다.