단순 선형회귀모델 (1): SSE 최소화 추정량과 모멘트

기본적인 가정

(H1) 단순 선형회귀모델은 $Y={\beta }_0+{\beta }_{1}x+ϵ$이고, 오차에 대해 $E[ϵ]=0$, $V[ϵ]={\sigma }^2$을 가정한다.

→ 즉, 선형회귀모델의 모든 확률적 성격은 오차에서 비롯된다 (종속변수, 파라미터 추정량, 통계량 등의 확률분포, 모멘트 등).

(H2) $Y$의 $i$번째 측정을 $Y_i={\beta }_0+{\beta }_1{x}_i+{ϵ}_i,i=1,2,\cdots ,n$으로 표현하고, 이때의 오차 ${ϵ}_i$에 대해 IID (독립항등분포)를 가정한다.

→ 모든 측정의 오차 ${ϵ}_i$가 서로 독립이고, 모멘트가 $E[{ϵ}_i]=0$, $V[{ϵ}_i]={\sigma }^2$으로 일정하다.

→ ${ϵ}_i$가 IID이므로 $Y_i$도 IID이다. 즉, $E[Y_i],V[Y_i]$가 일정하고, $Cov[Y_i,Y_j]=V[Y_i]{\delta }_{ij}$이다.

(H3) ${\beta }_0,{\beta }_1,{\sigma }^2$은 모델에서 추정이 필요한 파라미터이다. 추정량을 ${\hat{\beta }}_0,{\hat{\beta }}_1,{\hat{\sigma }}^2$이라고 한다.

(H4) 모델의 파라미터를 ${\hat{\beta }}_0,{\hat{\beta }}_1$으로 추정했을 때, 모델이 학습 데이터 $x_i$에 대해 만드는 예측은 ${\hat{Y}}_i:={\hat{\beta }}_0+{\hat{\beta }}_1{x}_i$이다. 실제 값은 $Y_i$이다.

(H5) 오차제곱합 $SSE=\sum (Y_i-{\hat{Y}}_i{)}^2$는 모델이 학습 데이터에 대해 만든 예측들의 전체적인 오차이다. 이것을 최소화하도록 파라미터 추정량 ${\hat{\beta }}_0,{\hat{\beta }}_1$을 정한다.

(H6) $S_{YY}:=\sum (Y_i-\overline{Y}{)}^2,S_{xY}:=\sum (x_i-\overline{x})(Y_i-\overline{Y}),S_{xx}:=\sum (x_i-\overline{x}{)}^2$와 같이 정의한다.

(H7) 랜덤변수와 결정적인 값들 구분

→ 모델의 오차 $ϵ$가 랜덤변수이므로 종속변수 $Y$도 랜덤변수다.

→ $i$번째 측정의 오차 ${ϵ}_i$가 랜덤변수이므로 $Y_i$도 랜덤변수고, $Y_i$의 함수 $\overline{Y},S_{YY},S_{xY},SSE$도 랜덤변수다.

→ 모델의 파라미터 추정량 ${\hat{\beta }}_0,{\hat{\beta }}_1,{\hat{\sigma }}^2$은 모두 랜덤변수고, 파라미터의 함수 ${\hat{Y}}_i$도 랜덤변수.

→ 그 외 $x,\overline{x},x_i,S_{xx}$ 모두 결정적인 값이고, 파라미터의 실제 값 ${\beta }_0,{\beta }_1,{\sigma }^2$도 결정적인 값.

의미 있는 결론들

(C1) ${\mathrm{\nabla }}_{\hat{\beta }}SSE=0⟹{\hat{\beta }}_0=\overline{Y}-{\hat{\beta }}_1\overline{x},{\hat{\beta }}_1=\frac{S_{xY}}{S_{xx}}$

→ 모델의 $SSE$를 최소화하는 파라미터 ${\hat{\beta }}_0,{\hat{\beta }}_1$에 관한 공식.

증명:

$\frac{\partial SSE}{\partial {\hat{\beta }}_0}=-2(\sum Y_i-{\hat{\beta }}_{0}n-{\hat{\beta }}_1\sum x_i)=0⟺(1)$

$\frac{\partial SSE}{\partial {\hat{\beta }}_1}=-2(\sum x_i{Y}_i-{\hat{\beta }}_0\sum x_i-{\hat{\beta }}_1\sum x_i^2)=0⟺(2)$

$(1)⟹{\hat{\beta }}_0=\overline{Y}-{\hat{\beta }}_1\overline{x}$

$(1)\times \sum x_i-(2)\times n⟹\sum x_i\sum Y_i-n\sum x_i{Y}_i+{\hat{\beta }}_1(n\sum x_i^2-(\sum x_i{)}^2)=0$

$\therefore {\hat{\beta }}_1=\frac{\sum x_i{Y}_i-\frac{1}{n}\sum x_i\sum Y_i}{\sum x_i^2-\frac{1}{n}(\sum x_i{)}^2}=\frac{\sum x_i{Y}_i-n\overline{x}\overline{Y}}{\sum x_i^2-n{\overline{x}}^2}=\frac{\sum (x_i-\overline{x})(Y_i-\overline{Y})}{\sum (x_i-\overline{x}{)}^2}=\frac{S_{xY}}{S_{xx}}$

(C2) $E[{\hat{\beta }}_1]={\beta }_1,E[{\hat{\beta }}_0]={\beta }_0$

→ 위 공식으로 구한 ${\hat{\beta }}_0,{\hat{\beta }}_1$는 불편추정량이다.

증명:

$$\begin{gathered} E[{\hat{\beta }}_1]=\frac{\sum (x_i-\overline{x})E[Y_i]}{S_{xx}} \\ =\frac{\sum (x_i-\overline{x})({\beta }_0+{\beta }_1{x}_i)}{S_{xx}}={\beta }_0(\frac{\sum (x_i-\overline{x})}{S_{xx}})+{\beta }_1(\frac{\sum (x_i-\overline{x})x_i}{S_{xx}})={\beta }_0\cdot 0+{\beta }_1\cdot 1={\beta }_1 \end{gathered}$$

$E[{\hat{\beta }}_0]=E[\overline{Y}]-E[{\hat{\beta }}_1]\overline{x}=({\beta }_0+{\beta }_1\overline{x})-{\beta }_1\overline{x}={\beta }_0$

(C3) $V[{\hat{\beta }}_1]=\frac{1}{S_{xx}}{\sigma }^2,V[{\hat{\beta }}_0]=\frac{\sum x_i^2}{n{S}_{xx}}{\sigma }^2$

→ 불편추정량의 분산 공식. 이를 이용하여 통계량을 만들고, 신뢰구간 분석과 가설 검정을 수행할 수 있다.

증명:

$V[{\hat{\beta }}_1]=\frac{\sum (x_i-\overline{x}{)}^{2}V[Y_i]}{S_{xx}^2}=\frac{{\sigma }^2{S}_{xx}}{S_{xx}^2}=\frac{1}{S_{xx}}{\sigma }^2$

$$\begin{gathered} V[{\hat{\beta }}_0]=V[\overline{Y}]+{\overline{x}}^{2}V[{\hat{\beta }}_1]-2\overline{x}Cov[\overline{Y},{\hat{\beta }}_1]=\frac{{\sigma }^2}{n}+{\overline{x}}^2\frac{1}{S_{xx}}{\sigma }^2-0 \\ =\frac{{\sigma }^2(S_{xx}+n{\overline{x}}^2)}{n{S}_{xx}}=\frac{{\sigma }^2\sum x_i^2}{n{S}_{xx}}=\frac{\sum x_i^2}{n{S}_{xx}}{\sigma }^2 \end{gathered}$$

(C4) $Cov[{\hat{\beta }}_0,{\hat{\beta }}_1]=-\frac{\overline{x}}{S_{xx}}{\sigma }^2$

→ $\overline{x}\ne 0$인 한, 파라미터 ${\hat{\beta }}_0,{\hat{\beta }}_1$ 사이에 상관관계가 존재한다. 데이터를 중심화하면 파라미터 사이의 상관관계를 없앨 수 있다.

증명:

$Cov[{\hat{\beta }}_0,{\hat{\beta }}_1]=Cov[\overline{Y}-{\hat{\beta }}_1\overline{x},{\hat{\beta }}_1]=Cov[\overline{Y},{\hat{\beta }}_1]-\overline{x}V[{\hat{\beta }}_1]=0-\overline{x}\frac{1}{S_{xx}}{\sigma }^2=-\frac{\overline{x}}{S_{xx}}{\sigma }^2$

(C5) $E[SSE]=(n-2){\sigma }^2$

→ 오차의 분산 ${\sigma }^2$의 불편추정량은 ${\hat{\sigma }}^2=\frac{1}{n-2}SSE$이다. 따라서 관련된 샘플링 분포들 ($t$-분포, ${\chi }^2$-분포 등)은 모두 $n-2$의 자유도를 갖게 된다.

증명:

$E[SSE]=E[S_{YY}]-S_{xx}E[{\hat{\beta }}_1^2]$

여기서 $E[S_{YY}]=(n-1){\sigma }^2+{\beta }_1^2{S}_{xx}$이고,

$S_{xx}E[{\hat{\beta }}_1^2]=S_{xx}[V[{\hat{\beta }}_1]+E[{\hat{\beta }}_1{]}^2]=S_{xx}(\frac{1}{S_{xx}}{\sigma }^2+{\beta }_1^2)={\sigma }^2+{\beta }_1^2{S}_{xx}$

증명에 활용된 보조정리

식 변형

(L1-1) $\frac{1}{n}(\sum Y_i{)}^2=n{\overline{Y}}^2,\frac{1}{n}\sum x_i\sum Y_i=n\overline{x}\overline{Y},\frac{1}{n}(\sum x_i{)}^2=n{\overline{x}}^2$

증명:

$\frac{1}{n}(\sum Y_i{)}^2=\frac{1}{n}(n\overline{Y}{)}^2=n{\overline{Y}}^2$

$\frac{1}{n}\sum x_i\sum Y_i=\overline{x}\cdot n\overline{Y}=n\overline{x}\overline{Y}$

$\frac{1}{n}(\sum x_i{)}^2=\frac{1}{n}(n\overline{x}{)}^2=n{\overline{x}}^2$

(L1-2) $S_{YY}=\sum Y_i^2-n{\overline{Y}}^2,S_{xY}=\sum x_i{Y}_i-n\overline{x}\overline{Y},S_{xx}=\sum x_i^2-n{\overline{x}}^2$

증명:

$$\begin{gathered} S_{YY}=\sum (Y_i-\overline{Y}{)}^2=\sum Y_i^2+{\overline{Y}}^{2}n-2\overline{Y}\sum Y_i=\sum Y_i^2+{\overline{Y}}^{2}n-2\overline{Y}(n\overline{Y}) \\ =\sum Y_i^2-n{\overline{Y}}^2 \end{gathered}$$

$$\begin{gathered} S_{xY}=\sum (x_i-\overline{x})(Y_i-\overline{Y})=\sum x_i{Y}_i-\overline{x}\sum Y_i-\overline{Y}\sum x_i+n\overline{x}\overline{Y} \\ =\sum x_i{Y}_i-\overline{x}(n\overline{Y})-\overline{Y}(n\overline{x})+n\overline{x}\overline{Y}=\sum x_i{Y}_i-n\overline{x}\overline{Y} \end{gathered}$$

$$\begin{gathered} S_{xx}=\sum (x_i-\overline{x}{)}^2=\sum x_i^2+{\overline{x}}^{2}n-2\overline{x}\sum x_i=\sum x_i^2+{\overline{x}}^{2}n-2\overline{x}(n\overline{x}) \\ =\sum x_i^2-n{\overline{x}}^2 \end{gathered}$$

(L1-3) $SSE=S_{YY}-{\hat{\beta }}_1{S}_{xY}=S_{YY}-{\hat{\beta }}_1^2{S}_{xx}$

증명:

$$\begin{gathered} SSE=\sum (Y_i-{\hat{\beta }}_0-{\hat{\beta }}_1{x}_i{)}^2=\sum ((Y_i-\overline{Y})-{\hat{\beta }}_1(x_i-\overline{x}){)}^2 \\ =S_{YY}+{\hat{\beta }}_1^2{S}_{xx}-2{\hat{\beta }}_1{S}_{xY}=S_{YY}+{\hat{\beta }}_1{S}_{xY}-2{\hat{\beta }}_1{S}_{xY} \\ =S_{YY}-{\hat{\beta }}_1{S}_{xY}=S_{YY}-{\hat{\beta }}_1^2{S}_{xx} \end{gathered}$$

(L1-4) $\sum (x_i-\overline{x})=0,\sum _i\sum _j(x_j-\overline{x}){\delta }_{ij}=0$

증명:

$\sum (x_i-\overline{x})=\sum x_i-n\overline{x}=n\overline{x}-n\overline{x}=0,\sum _i\sum _j(x_j-\overline{x}){\delta }_{ij}=\sum _i(x_i-\overline{x})=0$

(L1-5) $0=\frac{\sum (x_i-\overline{x})}{S_{xx}},1=\frac{\sum (x_i-\overline{x})x_i}{S_{xx}},{\hat{\beta }}_1=\frac{\sum (x_i-\overline{x})Y_i}{S_{xx}}$

증명:

$\sum (x_i-\overline{x})=0$이고, $S_{xx}=\sum x_i^2-n{\overline{x}}^2=\sum x_i^2-\overline{x}\sum x_i=\sum (x_i-\overline{x})x_i$이므로

$0=\frac{0}{S_{xx}}=\frac{\sum (x_i-\overline{x})}{S_{xx}},1=\frac{S_{xx}}{S_{xx}}=\frac{\sum (x_i-\overline{x})x_i}{S_{xx}}$

${\hat{\beta }}_1=\frac{S_{xY}}{S_{xx}}=\frac{\sum (x_i-\overline{x})(Y_i-\overline{Y})}{S_{xx}}=\frac{\sum (x_i-\overline{x})Y_i}{S_{xx}}-\frac{\overline{Y}\sum (x_i-\overline{x})}{S_{xx}}=\frac{\sum (x_i-\overline{x})Y_i}{S_{xx}}-0=\frac{\sum (x_i-\overline{x})Y_i}{S_{xx}}$

모멘트 관련

(L2-1)

$E[Y]={\beta }_0+{\beta }_{1}x,V[Y]={\sigma }^2,E[Y_i]={\beta }_0+{\beta }_1{x}_i$

$V[Y_i]={\sigma }^2,Cov[Y_i,Y_j]={\sigma }^2{\delta }_{ij}$

증명:

$E[Y]={\beta }_0+{\beta }_{1}x+E[ϵ]={\beta }_0+{\beta }_{1}x+0={\beta }_0+{\beta }_{1}x$

$V[Y]=V[ϵ]={\sigma }^2$

$E[Y_i]={\beta }_0+{\beta }_1{x}_i+E[{ϵ}_i]={\beta }_0+{\beta }_1{x}_i+0={\beta }_0+{\beta }_1{x}_i$

$V[Y_i]=V[{ϵ}_i]={\sigma }^2$

$Cov[Y_i,Y_j]=V[Y_i]{\delta }_{ij}={\sigma }^2{\delta }_{ij}$

(L2-2) $E[\overline{Y}]={\beta }_0+{\beta }_1\overline{x},V[\overline{Y}]=\frac{{\sigma }^2}{n}$

증명:

$E[\overline{Y}]=\frac{1}{n}\sum E[Y_i]=\frac{1}{n}\cdot ({\beta }_{0}n+{\beta }_1\sum x_i)={\beta }_0+{\beta }_1\overline{x}$

$V[\overline{Y}]=\frac{1}{n^2}\sum V[Y_i]=\frac{1}{n^2}\cdot n{\sigma }^2=\frac{{\sigma }^2}{n}$

(L2-3) $Cov[\overline{Y},{\hat{\beta }}_1]=0$

증명:

$$\begin{gathered} Cov[\overline{Y},{\hat{\beta }}_1]=Cov[\sum _i(\frac{1}{n})Y_i,\sum _j(\frac{x_j-\overline{x}}{S_{xx}})Y_j] \\ =\sum _i\sum _j(\frac{1}{n})(\frac{x_j-\overline{x}}{S_{xx}})Cov[Y_i,Y_j]=\frac{{\sigma }^2}{n{S}_{xx}}\sum _i\sum _j(x_j-\overline{x}){\delta }_{ij}=0 \end{gathered}$$

(L2-4) $E[S_{YY}]=(n-1){\sigma }^2+{\beta }_1^2{S}_{xx}$

증명:

$E[S_{YY}]=\sum E[Y_i^2]-nE[{\overline{Y}}^2]$이고,

$E[Y_i^2]=V[Y_i]+E[Y_i{]}^2={\sigma }^2+{\beta }_0^2+{\beta }_1^2{x}_i^2+2{\beta }_0{\beta }_1{x}_i$

→ $\sum E[Y_i^2]=n{\sigma }^2+n{\beta }_0^2+{\beta }_1^2(\sum x_i^2)+2n{\beta }_0{\beta }_1(\overline{x})$

$E[{\overline{Y}}^2]=V[\overline{Y}]+E[\overline{Y}{]}^2=\frac{{\sigma }^2}{n}+{\beta }_0^2+{\beta }_1^2{\overline{x}}^2+2{\beta }_0{\beta }_1\overline{x}$

→ $nE[{\overline{Y}}^2]={\sigma }^2+n{\beta }_0^2+{\beta }_1^2(n{\overline{x}}^2)+2n{\beta }_0{\beta }_1\overline{x}$이므로,

$E[S_{YY}]=(n-1){\sigma }^2+{\beta }_1^2(\sum x_i^2-n{\overline{x}}^2)=(n-1){\sigma }^2+{\beta }_1^2{S}_{xx}$