베이즈 정리

확률의 곱셈공식은 다음과 같다.

$$
P(AB)=P(A)P(B\mid A)=P(B)P(A\mid B)
$$

따라서 다음 등식이 성립한다. 이것이 바로 그 유명한 베이즈 정리(Bayes’ Theorem; 贝叶斯定理)이다.

$$
P(A \mid B)=\frac{P(B\mid A)P(A)}{P(B)}
$$

한편, 임의의 사건 $B$는 다음과 같이 변형이 가능하다. 여기서 $\lbrace A_i \rbrace(i=1,2,\cdots,n)$는 $\Omega$의 분할(Partition; 分割)이다 (그림 참조).

$$
B=B\Omega=B\left(\sum_{i=1}^nA_i\right)=\sum_{i=1}^nBA_i
$$

따라서 $P(B)$는 다음과 같이 구할 수 있다. 이것을 두고 전체확률의 법칙(Law of Total Probability; 全概率法则)이라고 부른다.

$$
P(B)=P\left(\sum_{i=1}^nBA_i\right)=\sum_{i=1}^nP(BA_i)=\sum_{i=1}^nP(B\mid A_i)P(A_i)
$$

즉, 임의의 사건의 확률은 ‘조각을 내서 합하는’방식으로 구할 수 있다. 여기서 각 ‘조각’의 측도인 $P(A_i)$는 일종의 가중치라고 이해하는 편이 좋다.

note: 전체를 알기 위해 그것을 구성하는 부분을 탐구한다는 점에서, 전체확률의 법칙은 ‘장님 코끼리 만지기’(盲人摸象) 이야기와 비슷하다. 다만, 장님 코끼리 만지기와는 달리 모든 조각을 전부 합하므로 빈틈이 없을 것이다.

베이즈 정리와 전체확률의 법칙을 통해 다음과 같은 식을 얻는다. 실제 응용에서는 이러한 형태의 식이 자주 쓰인다.

$$
P(A_i\mid B)=\frac{P(B\mid A_i)P(A_i)}{\sum_{i=1}^nP(B\mid A_i)P(A_i)}
$$

$\Omega$를 분할하는 방식은 자유롭다. 다만 각 분할된 사건끼리 상호배제적이면서 모든 분할된 사건의 합은 $\Omega$를 이루어야 한다. 즉, 중복이 없으면서 동시에 누락도 없어야 한다. 가장 자주 쓰이면서 이해하기 쉬운 예시로는, $A$와 그것의 여사건인 $\overline{A}$로 분할하는 것이다. 그러면 다음이 성립한다.

$$
P(B)=P(B\mid A)P(A)+P(B\mid\overline{A})P(\overline{A})
$$

이것을 베이즈 정리에 대입하면, 다음과 같은 식을 얻는다.

$$
\begin{split}
P(A\mid B)&=\frac{P(B\mid A)P(A)}{P(B\mid A)P(A)+P(B\mid\overline{A})P(\overline{A})}
\\
&=\frac{P(AB)}{P(AB)+P(\overline{A}B)}
\\
&=\frac{\vert AB \vert}{\vert AB\vert+\vert\overline{A}B\vert}
\end{split}
$$

이 식은 의학분야에서 진단성능을 논의할 때 자주 쓰이는 식이다. 사건 $A$를 ‘실제로 양성’, 사건 $B$를 ‘진단결과 양성’이라고 하자. 이 사건들의 여사건은 각각 ‘실제로 음성’과 ‘진단결과 음성’이고, 다음과 같은 4가지 확률이 정의된다.

따라서 위 식은 TPR을 구하는 식이다. 비슷한 방식으로 FPR, FNR, TNR 모두 구할 수 있다.

예를 들어 진단키트로 감염자 100명과 미감염자 100명을 진단하여 진단결과 양성여부와 실제 감염여부에 따라서 다음과 같이 4그룹으로 나눴다고 하자. 다음과 같이 2$\times$2표를 그려서 상황을 시각화 하면 TPR 등을 쉽게 계산할 수 있다.

위양성을 쉽게 말하면 어떤 질병에 감염되었다고 판단했지만 실제로는 감염되지 않은 경우이고, 위음성은 그 반대로 어떤 질병에 감염되지 않았다고 판단했지만 실제로는 감염된 경우이다. 위양성은 애먼 사람을 잡는 것이고, 위음성은 잡아야 할 사람을 놓치는 것이다.

이렇게 생긴 실제-판단의 2$\times$2표는 의학분야 뿐만 아니라 머신러닝, 신호탐지이론, 통계검정 등 여러 분야에서 응용이 가능하다. 특히 통계검정 분야에서 위양성을 제1종 오류, 위음성을 제2종 오류라고 하며, 각 오류를 범할 확률들을 $\alpha$와 $\beta$로 나타낸다.

한편, 베이즈 정리를 구성하는 확률들은 각각 다음과 같은 이름이 있다.

(1) $P(A)$: 사전확률(Prior Probability; 先验). 증거 $B$를 관찰하기 전, $A$에 대한 믿음이다.

(2) $P(B\mid A)$: 가능도(Likelihood; 似然). $A$에 대한 믿음이 옳다는 가정하에 $B$의 모습이다.

(3) $P(B)$: 증거(Evidence; 证据). $A$에 관한 믿음에 영향을 줄 새로운 증거이다.

(4) $P(A \mid B)$: 사후확률(Posterior Probability; 后验). 증거 $B$를 관찰한 후, $A$에 대한 새로운 믿음이다.

즉, 베이즈 정리는 사전확률과 사후확률의 관계를 나타낸 식이라고 볼 수 있으며, 이는 베이즈 확률론자들이 생각하는 ‘확률’이란 인간의 주관적인 믿음에 불과하며, 새로운 증거가 나타나면 그 믿음이 얼마든지 수정될 수 있음을 시사한다.