지난 글에서 얻은 조건부 확률의 정의를 변형하여 다음과 같은 확률의 곱셈공식을 얻는다.
$$
P(E_1E_2)=P(E_1)P(E_2\mid E_1)
$$
그런데 $P(E_2)=P(E_2\mid E_1)$처럼, $E_1$의 발생이 $E_2$의 발생에 아무런 영향도 미치지 않는 경우가 있다(예를 들어 $E_1=\Omega$일 때). 이런 경우를 가리켜 $E_1,E_2$이 서로 독립(Independent; 独立)이라고 하며 기호로는 $E_1\perp E_2$로 나타낸다. 임의의 두 사건 $E_1$, $E_2$이 독립이라는 것은 다음 등식과 동치이다.
$$
P(E_1E_2)=P(E_1)P(E_2)
$$
즉, 두 사건이 독립이면 두 사건이 동시에 발생할 확률을 각 사건의 곱으로 나타낼 수 있다.
#1. 사건의 독립과 배반
사건의 독립(Independent; 独立)과 배반(Disjoint; 互斥)은 자주 헷갈리는 개념이므로 같이 정리해야 한다.
(1) 독립: $E_1$의 발생이 $E_2$의 발생에 아무런 영향도 미치지 않는 경우.
(2) 배반: $E_1$이 발생했다면 $E_2$는 발생할 수 없다.
따라서 배반사건이면 반드시 독립사건이 아니고, 독립사건이면 반드시 배반사건이 아니다. 독립은 어떤 사건의 발생이 다른 사건의 발생에 어떤 영향도 주지 않는 경우를 가정하는 반면, 배반은 어떤 사건이 발생했다면 다른 사건은 반드시 발생하지 않아야 할 것을 요구하고 있다. 즉, 배반은 다른 사건의 발생에 엄청난 영향을 주고 있다.
자연어로서의 독립, 배반은 혼동을 일으키기 쉬우나 수학의 언어로 나타내면 그렇게 헷갈리는 개념도 아니다.
(1) 독립: $P(E_1E_2)=P(E_1)P(E_2\mid E_1)$
(2) 배반: $E_1E_2=\emptyset$
#2. 여러 사건의 독립
항아리에 숫자 1이 적힌공, 숫자 2가 적힌공, 숫자 3이 적힌공, 그리고 숫자 1, 2, 3이 모두 적힌 공이 들어있다. 항아리에서 무작위로 공을 꺼낼 때, 사건 $E_i$를 ‘꺼낸 공에 숫자 $i$가 적혀있다’로 두자. 그러면 다음과 같은 계산을 할 수 있다.
(1) $P(E_1)=P(E_2)=P(E_3)=1/2$
(2) $P(E_1E_2)=P(E_1E_3)=P(E_2E_3)=1/4$
(3) $P(E_1E_2E_3)=1/4$
이를 토대로 $E_i$의 독립성을 논의해보자.
(1) $P(E_1)P(E_2)=P(E_1E_2)$
(2) $P(E_1)P(E_3)=P(E_1E_3)$
(3) $P(E_2)P(E_3)=P(E_2E_3)$
즉, 임의의 두 사건 $E_i$, $E_j$($i\not=j$)는 독립이다. 이 경우는 쌍으로 독립(Pairwise Independent; 两两独立)이라고 한다.
(4) $P(E_1)P(E_2)P(E_3)\not=P(E_1E_2E_3)$
즉, 세 사건 $E_1$, $E_2$, $E_3$은 상호 독립(Mutually Independent; 相互独立)이 아니다.
그러므로 여러 사건의 독립성을 논하려면, 쌍으로 독립, 상호 독립의 구별이 중요해진다. 네 사건의 경우, 세 쌍으로 독립이지만 쌍으로는 독립이 아닌 경우도 있을 수 있다. 결국 $n$개의 사건 $E_i(i=1,2,\cdots,n)$이 독립이면 $k=2,3,\cdots,n$에 대해 다음이 성립한다.
$$
P\left(\bigcap_{j=1}^{k}E_{i_j}\right)=\prod_{j=1}^{k}P(E_{i_j}),\space1\le i_1<i_2<\cdots<i_k\le n
$$
즉, $n$개의 사건 중 임의의 2개, 3개, …, $n$개의 사건이 동시에 발생할 확률을 각 사건의 곱으로 나타낼 수 있어야 한다는 뜻이다.
#3. 조건부 독립
다음 그림과 같은 ‘화재경보 시스템’을 생각해보자.
즉, 어떤 건물에 화재가 발생하면($E_1$), 연기도 발생할 것이고($E_2$), 이에 연기를 감지하는 경보기($E_3$)가 울려서 이를 알아챈 경비 $a$가 소방서에 신고를 하거나($E_{4a}$), 경비 $b$가 소방서에 신고를 하는($E_{4b}$) 시스템이다.
이 ‘화재경보 시스템’은 (1) 순차적인, 직렬구조인 세부 시스템(화재발생부터 경보기작동까지)과 (2) 동시적인, 병렬구조(경보기작동부터 소방서에 신고까지)인 세부 시스템으로 이루어져 있다. 그런데 두 시스템 모두 조건부 독립에 의한 결함이 있다.
(1) 연기가 발생한 이상($E_2$), 화재가 발생했다는 것($E_1$)은 경보기의 작동($E_3$)에 아무런 영향도 줄 수 없다. 경보기는 연기를 감지하여 작동하기 때문에 화재가 발생하지 않아도 누군가 시스템에 혼란을 줄 목적으로 고의로 연기를 피우면 경보기가 작동한다는 것이다.
(2) 경보기가 울렸다면, 경비 $b$가 신고하는 것($E_{4b}$)은 경비 $a$가 신고하는 것($E_{4a}$)에 아무런 영향도 줄 수 없다. 두 경비초소는 멀리 떨어져있어 상호간 의사소통이 불가능하다고 가정한 것이다. 따라서 경비 $b$가 먼저 경보기 작동을 알아차리고 신고를 넣었어도 경비 $a$가 중복 신고가 가능하다. 중복 신고는 곧 행정력 낭비이다.
이것을 수학적으로 나타내면 다음과 같다.
(1) $P(E_3\mid E_2)=P(E_3\mid E_1E_2)$
(2) $P(E_{4a}\mid E_3 E_{4b})=P(E_{4a}\mid E_3)$
식 (1)이 성립하면 $E_2$이라는 조건하에 $E_1$, $E_3$은 조건부 독립(Conditional Independent; 条件独立)이라고 한다. 식 (2)에 대해서도 $E_3$이라는 조건하에 $E_{4a}\perp E_{4b}$이다.
독립성이 성립하면 여러 사건이 동시발생할 확률을 각 확률의 곱으로 나타낼 수 있었다. 조건부 독립에서도 그것이 성립하는지 보자. (1)을 예로 들면 다음이 성립한다.
$$
\begin{split}
P(E_1E_3\mid E_2)&=\frac{P(E_1E_2E_3)}{P(E_2)}=\frac{P(E_1E_2)}{P(E_2)}\cdot\frac{P(E_1E_2E_3)}{P(E_1E_2)}
\\
&=P(E_1\mid E_2)P(E_3\mid E_1E_2)
\\
&=P(E_1\mid E_2)P(E_3\mid E_2)
\end{split}
$$
같은 방식으로 (2)에 대해서도 $P(E_{4a}E_{4b}\mid E_3)=P(E_{4a}\mid E_3)P(E_{4b}\mid E_3)$이 성립한다.
note: 직렬구조에서 조건부 독립은 마코프 연쇄(Markov Chain; 马尔科夫链)와 닮았다. 순차적으로 발생하는 사건 $E_1,E_2,\cdots,E_k,\cdots,E_n$에 대해, $E_k$의 발생은 오직 그 전 단계인 $E_{k-1}$에만 영향을 받는다.
