변분추론 (Variational Inference)

섀넌의 정보이론 복습

(1) 랜덤변수 $X$, 관측치 $x$, 확률밀도함수 (확률분포) $X\sim p(x)$

• $X$가 가질 수 있는 값이 너무 많아 정확히 $X=x$일 확률 대신 $x$ 근처의 값을 가질 확률 $p(x)dx$를 생각하고 $p(x)$를 $X$의 확률밀도함수 또는 확률분포라고 한다.
• 확률분포는 랜덤변수의 값이 어떻게 결정되는지를 표현하는 규칙이다. 예를 들어 $p(0)$이 매우 높으면 랜덤변수가 $0$ 근처의 값을 가질 확률이 높을 것이다. $X$가 $p(x)$라는 규칙에 의해 값이 결정된다는 것을 $X\sim p(x)$로 나타낸다. 간단히 $X$가 $p(x)$를 따른다고 표현한다.

(2) 섀넌 정보량 $I(p):=-\log p$

• 확률이 낮은 사건일 수록 많은 정보 (놀라움)를 갖는다. 예를 들어 동전을 던졌는데 앞면이 나오면 그다지 놀랍지 않지만, 복권을 샀는데 당첨되면 매우 놀랍다. 따라서 확률밀도함수와 정보량이 반대 관계를 가져야 한다는 것이 마이너스 부호로 표현되었다.
• 로그는 서로 독립인 정보량의 덧셈을 가능하게 한다. 서로 독립인 $X\sim p(x),Y\sim q(y)$를 동시에 고려한 결합확률분포는 $f(x,y)=p(x)q(y)$와 같이 곱으로 표현되므로, 로그를 사용할 때 $I(f)=-\log pq=-\log p-\log q=I(p)+I(q)$와 같이 덧셈으로 바뀐다.

(3) 정보 엔트로피 $H(p):=E_{X\sim p(x)}[I(p)]=-{\int }_{x}p(x)\log p(x)dx$

• (정의) 특정 확률분포 $p$가 가진 정보의 기대치
• (의미 1) $X$의 인코딩에 필요한 (최소) 비용 (비트 수)
• (의미 2) 확률분포 $p$의 불확실성 (불확실할 수록 가진 정보가 많다고 본다.)

(4) 교차 엔트로피

(관점 1) $H(p,q):=E_{X\sim p(x)}[I(q)]=-{\int }_{x}p(x)\log q(x)dx$

(관점 2) $H(q,p):=E_{X\sim q(x)}[I(p)]=-{\int }_{x}q(x)\log p(x)dx$

• (정의) 특정 확률분포 $p$가 가진 정보의 기대치를 확률분포 $q$로 근사한 것.
• (의미) $X$의 참 확률분포가 $p(x)$인데 $q(x)$를 사용했을 때의 비용 (불확실성)

(5) KL 발산

(관점 1) $KL(p\Vert q):=E_{X\sim p(x)}[\log \frac{p(x)}{q(x)}]={\int }_{x}p(x)\log \frac{p(x)}{q(x)}dx\ge 0$

(관점 2) $KL(q\Vert p):=E_{X\sim q(x)}[\log \frac{q(x)}{p(x)}]={\int }_{x}q(x)\log \frac{q(x)}{p(x)}dx\ge 0$

• (의미 1) $X$의 참 확률분포가 $p(x)$인데 $q(x)$를 사용했을 때의 추가적인 비용 (불확실성)
• (의미 2) 임의로 설정한 $q(x)$는 참 확률분포 $p(x)$와 얼마나 차이나는가?
• (관점 1) $H(p,q)\ge H(p)+KL(p\Vert q)$
• (관점 2) $H(q,p)\ge H(q)+KL(q\Vert p)$
• 두 관점 모두 등호는 $q=p$, 즉 $KL=0$일 때 성립 ($q$가 $p$를 잘 근사할 수록 $KL\to 0$).

베이지안 추론 복습

파라미터 $\mathrm{\Theta }$의 사전 확률분포 $p(\theta )$를 가정하고, 증거 (데이터) $X$를 관측한 후의 사후 확률분포 $p(\theta |x)$를 추론한다.

• 베이즈 정리: $p(\theta |x)=\frac{p(\theta ,x)}{p(x)}=\frac{p(x|\theta )p(\theta )}{{\int }_{\theta }p(x|\theta )p(\theta )d\theta }$
• 가능도 (데이터 재구성도, 데이터 적합도) $p(x|\theta )$는 $\mathrm{\Theta }$가 $\theta$ 근처의 값을 가질 때 $X$가 $x$ 근처라는 증거 (데이터)를 얻을 확률분포
• 증거 (데이터)의 확률 값은 $p(x)$는 적분으로 구한다.
• 사후 확률분포가 사전 확률분포와 같은 형태를 유지하며 쉽게 구해지는 경우가 있고 (가능도와 사전 확률분포의 켤레 관계), 그렇지 않은 경우가 있다.

변분추론

변분추론은 무엇을 하는가?

변분추론 (Variational Inference)은 베이지안 추론을 근사적으로 수행한다.

왜 근사가 필요한가? 켤레 관계가 없을 시, 사후 확률분포 $p(\theta |x)$를 계산하기 위해서는 $p(x)={\int }_{\theta }p(x|\theta )p(\theta )d\theta$를 계산해야 하는데 이는 매우 복잡하다. 특히 $\mathrm{\Theta }$가 신경망의 가중치 같은 고차원 랜덤변수일 경우 이 문제는 더 심하다.

정확한 $\mathrm{\Theta }$의 사후 확률분포 $p(\theta |x)$ 대신 적당한 확률분포 $q(\theta )$를 설정한다. 이것을 변분분포 (Variational Distribution)라고 하자. 그리고 $q(\theta )$가 $p(\theta |x)$와 가깝도록 한다.

적당한 변분분포 $q$를 찾아 참 분포 $p$와 가깝게 만드는 것은 $KL$을 최소화 하는 것이다. (관점 2를 택하여) 수학적으로 표현하면

$$\underset{q}{min}KL(q(\theta )\Vert p(\theta |x))$$

증거하한 (ELBO)의 개념

그리고 $KL$은 다음과 같은 변형이 가능하다.

$$\begin{array}{rl}KL(q(\theta )\Vert p(\theta |x))& ={\int }_{\theta }q(\theta )\log \frac{q(\theta )}{p(\theta |x)}d\theta \\ & ={\int }_{\theta }q(\theta )\log \frac{q(\theta )}{p(\theta ,x)}d\theta +\log p(x){\int }_{\theta }q(\theta )d\theta \\ & =E_{\mathrm{\Theta }\sim q(\theta )}[\log \frac{q(\theta )}{p(\theta ,x)}]+\log p(x)\end{array}$$

항상 $KL\ge 0$이기 때문에 $\log p(x)$는 하한을 가진다. 그 하한을 증거하한 (Evidence Lower Bound, ELBO)이라고 부른다.

$$\log p(x)\ge E_{\mathrm{\Theta }\sim q(\theta )}[\log \frac{p(\theta ,x)}{q(\theta )}]=:ELBO$$

변분추론의 최적화 문제와 손실함수 유도

그러면 $KL$을 다음과 같이 다시 쓸 수 있고, 로그 증거 확률 값 $\log p(x)$은 상수이므로 $KL$을 최소화 하는 것은 음의 $ELBO$를 최소화 하는 문제로 바꿀 수 있다.

$$\begin{array}{rl}& KL=-ELBO+\log p(x)\\ & \underset{q}{max}KL⟺\underset{q}{min}(-ELBO)\end{array}$$

여기서 변분분포 $q(\theta )$를 찾기 위해 $q(\theta )$가 $\varphi$에 의해 파라미터화 된다고 본다 ($q(\theta ;\varphi )$).

즉, 변분추론에서 손실함수 ${\mathcal{L}}_{VI}(\varphi ):=-ELBO(\varphi )$이다.

구체적인 최적화를 위해 손실함수를 다시 정리할 필요가 있다. 먼저 $ELBO(\varphi )$를 분해해보면

$$\begin{array}{rl}ELBO(\varphi )& :=E_{\mathrm{\Theta }\sim q(\theta ;\varphi )}[\log \frac{p(\theta ,x)}{q(\theta ;\varphi )}]\\ & =E_{\mathrm{\Theta }\sim q(\theta ;\varphi )}[\log p(x|\theta )]+E_{\mathrm{\Theta }\sim q(\theta ;\varphi )}[\log \frac{p(\theta )}{q(\theta ;\varphi )}]\\ & =E_{\mathrm{\Theta }\sim q(\theta ;\varphi )}[\log p(x|\theta )]-KL(q(\theta ;\varphi )\Vert p(\theta ))\end{array}$$

따라서 변분추론의 손실함수는

$${\mathcal{L}}_{VI}(\varphi )=-E_{\mathrm{\Theta }\sim q(\theta ;\varphi )}[\log p(x|\theta )]+KL(q(\theta ;\varphi )\Vert p(\theta ))$$

첫번째 항 $-E_{\mathrm{\Theta }\sim q(\theta ;\varphi )}[\log p(x|\theta )]$는 음의 데이터 적합도 관련 항이며, 데이터 적합도가 높을 수록 손실이 낮아진다고 해석된다.

두번째 항 $+KL(q(\theta ;\varphi )\Vert p(\theta ))$은 KL 발산 항이며, 우리가 설정한 변분분포 $q(\theta ;\varphi )$가 참 분포 $p(\theta )$에서 멀어질 수록 손실이 높아진다고 해석된다.

손실함수를 최소화하는 과정에서 $\varphi$는 데이터 적합도가 높아지고, 설정한 변분분포가 참 분포와 가까워지도록 최적화된다.