단순 선형회귀모델 (3): 상관계수, 결정계수

사전 지식

(1) 상관계수와 결정계수 분석에서 독립변수는 더 이상 결정된 값 $x$가 아닌 랜덤변수 $X$이다.

(2) 단순 선형회귀모델은 $Y={\beta }_0+{\beta }_{1}X+ϵ,ϵ\sim N(0,{\sigma }^2)$이다. 회귀함수는 $E[Y]={\beta }_0+{\beta }_{1}E[X]$이다.

$X=x$로 정해졌을 때 기존의 단순 선형회귀모델 $Y={\beta }_0+{\beta }_{1}x+ϵ,ϵ\sim N(0,{\sigma }^2)$이 되고 회귀함수는 $E[Y|X=x]={\beta }_0+{\beta }_{1}x$이다.

(3) 모델의 전체적인 오차는 $SSE$가 아닌 $MSE:=E[(Y-{\hat{\beta }}_0-{\hat{\beta }}_{1}X{)}^2]$를 사용한다. ${\beta }_0,{\beta }_1$의 추정량 ${\hat{\beta }}_0,{\hat{\beta }}_1$은 $MSE$를 최소화하도록 정해진다.

(4) 모평균 ${\mu }_X:=E[X],{\mu }_Y:=E[Y]$, 모분산 ${\sigma }_X^2:=V[X],{\sigma }_Y^2:=V[Y]$, 모공분산 $c:=Cov[X,Y]$

(5) 불편추정량은 샘플평균 $\overline{X},\overline{Y}$, 샘플분산 $\frac{1}{n-1}{S}_{XX},\frac{1}{n-1}{S}_{YY}$, 샘플공분산 $\frac{1}{n-1}{S}_{XY}$

(6) $\rho :=\frac{c}{{\sigma }_X{\sigma }_Y}$를 $X$와 $Y$의 상관계수라고 한다.

(7) 샘플상관계수는 $R:=\frac{S_{XY}}{\sqrt{S_{XX}{S}_{YY}}}$과 같이 모상관계수의 공분산과 분산을 불편추정량으로 대체한 것으로 정한다. 그 값은 $r=\frac{S_{xy}}{\sqrt{S_{xx}{S}_{yy}}}$

유용한 결론과 활용

(C1) ${\mathrm{\nabla }}_{\hat{\beta }}MSE=0⟹{\hat{\beta }}_0={\mu }_Y-{\hat{\beta }}_1{\mu }_X,{\hat{\beta }}_1=\frac{c}{{\sigma }_X^2}=\frac{{\sigma }_Y}{{\sigma }_X}\rho$

→ 모델의 $MSE$를 최소화하는 파라미터에 대한 공식.

→ ${\hat{\beta }}_1$과 $\rho$의 부호가 같다는 사실이 가설 검정에 이용된다.

증명:

$\frac{\partial MSE}{\partial {\hat{\beta }}_0}=E[2(Y-{\hat{\beta }}_0-{\hat{\beta }}_{1}X)(-1)]=0⟺(1)$

$\frac{\partial MSE}{\partial {\hat{\beta }}_1}=E[2(Y-{\hat{\beta }}_0-{\hat{\beta }}_{1}X)(-X)]=0⟺(2)$

$(1)⟹{\hat{\beta }}_0=E[Y]-{\hat{\beta }}_{1}E[X]⟺(3)$

$(2)⟹E[XY]-{\hat{\beta }}_{0}E[X]-{\hat{\beta }}_{1}E[X^2]=0$

$(2)$에 $(3)$을 대입해서 정리: $E[XY]-E[X]E[Y]-{\hat{\beta }}_1(E[X^2]-E[X{]}^2)=0$

즉 $Cov[X,Y]-{\hat{\beta }}_{1}V[X]=0$이고 ${\hat{\beta }}_1=\frac{Cov[X,Y]}{V[X]}$

(C2) $T=\frac{{\hat{\beta }}_1}{\sqrt{S_{xx}{S}^2}}\sim t(n-2)$

→ 상관계수에 관한 가설 $H_0:\rho =0$을 검정하는 데 사용되는 통계량과 샘플링 분포.

증명:

${\hat{\beta }}_1$에 대한 통계적 추론은 익숙하다. 그리고 $H_0:\rho =0$은 $H_0:{\hat{\beta }}_1=0$과 같은 가설이다.

(C3) $r^2=1-\frac{SSE}{S_{yy}}\in [0,1]$

→ 샘플상관계수의 제곱은 $y_i$의 전체적인 변동 $S_{yy}$에서 $SSE$가 아닌 것이 차지하는 비율이다.

→ $SSE$는 전체적인 오차로, $S_{yy}$에서 설명되지 않은 부분이다.

→ 따라서 샘플상관계수의 제곱 $r^2$은 $S_{yy}$에서 설명된 비율을 의미한다. 이 비율을 결정계수 (Coefficient of Determination)라고 한다.

증명:

${\hat{\beta }}_1=\frac{S_{xy}}{S_{xx}},SSE=S_{yy}-{\hat{\beta }}_1{S}_{xy}$로 계산되므로, ${\hat{\beta }}_1{S}_{xy}=S_{yy}-SSE$이고,

$r^2=(\frac{S_{xy}}{\sqrt{S_{xx}{S}_{yy}}}{)}^2=(\frac{S_{xy}}{S_{xx}})(\frac{S_{xy}}{S_{yy}})={\hat{\beta }}_1(\frac{S_{xy}}{S_{yy}})=\frac{{\hat{\beta }}_1{S}_{xy}}{S_{yy}}=\frac{S_{yy}-SSE}{S_{yy}}=1-\frac{SSE}{S_{yy}}$

또한 ${\hat{\beta }}_1=\frac{S_{xy}}{S_{xx}},SSE=S_{yy}-{\hat{\beta }}_1{S}_{xy}$에서 $SSE=S_{yy}-\frac{S_{xy}^2}{S_{xx}}$이고,

$\frac{S_{xy}^2}{S_{xx}}\ge 0,SSE\ge 0,S_{yy}\ge 0$이므로 $0\le SSE\le S_{yy}⟹0\le \frac{SSE}{S_{yy}}\le 1⟹0\le 1-\frac{SSE}{S_{yy}}\le 1$