본문 바로가기

Mathematics

 (98)
구간추정 지난 글에서 논의한 적률 추정법과 최대가능도 추정법은 모두 점추정(Point Estimation; 点估计)의 방법이다. 좋은 추정량의 3가지 기준인 불편성, 효율성, 일치성도 점추정에서 논의되는 개념이다. 점추정은 합리적인 방법이지만 모수를 추정한답시고 특정 수치(점)를 콕 집어서 ‘이거야!’라고 단언하는 것이 부담스러울수가 있다. 이를 보완하려고 하는 방법이 바로 구간추정(Interval Estimation; 区间估计)이다. ‘이거야!’ 대신 ‘이 근처야!’라고 하는 것이다. 정확히는 ‘이 근처에 있지 않을 확률이 매우 낮아!’라고 하는 것이다. 다시 말해 모수 $\theta$가 특정 구간에 속할 확률을 매우 크게 만드는 것이다. 다음과 같은 확률을 생각해보자. $$ P(\underline\theta
베셀 보정, 표본분산의 분모 베셀 보정(Bessel’s Correction; 贝塞尔校正)은 모분산 $\sigma^2$의 추정량으로 표본 2차 중심적률 $$ B_2:=\frac{1}{n}\sum_{i=1}^{n}(X_i-\bar{X})^2 $$ 대신, 표본분산 $$ S^2:=\frac{1}{n-1}\sum_{i=1}^{n}(X_i-\bar{X})^2 $$ 을 사용하는 것을 말한다. 두 식을 비교하면, 분자는 같고 분모만 $n$과 $(n-1)$로 다르다. 따라서 ‘$S^2$은 $B_2$의 분모를 $(n-1)$로 보정해준것이다’라고 표현한다. 표본분산의 분모가 $n$이 아니라 $(n-1)$이라는 사실은 통계학에서 큰 논쟁거리 중 하나였다. 이번 글에서는 베셀 보정이 추정량에 어떤 효과를 가져올지 논의해보자. # 편향을 제거함. (모든 분..
크라메르-라오 하한, 피셔 정보 # 크라메르-라오 하한 지난 글에서 모평균의 MVUE를 얻기 위해 라그랑주 승수법을 이용했다. 이번에는 다른 방식으로 접근해보자. 임의의 모수 $\theta$의 불편추정량 $\hat{\theta}$의 분산의 하한을 생각해보자. 이 하한은 크라메르-라오 하한(Cramér-Rao Lower Bound, CRLB; 克拉默-拉奥下界)이라고 부르며, 모든 불편추정량의 분산의 ‘이론상 하한’이다. note: ‘이론상 하한’이라는 말은 불편추정량의 분산이 이 하한값을 가지지 못할 수도 있음을 뜻한다. $a\ge0$일 때, $a=0$이라고 단언할 수 없는 것과 마찬가지다. 따라서 크라메르-라오 하한은 MVUE를 얻기 위한 한 방법일 뿐, 실제로 MVUE의 분산이 크라메르-라오 하한이라고 단정할 수 없다. 불편추정량의 ..
최소분산 불편추정량 지난 글에서 좋은 추정량이 가져야할 3가지 성질에 대해 논의했다. (1) 불편성: 추정량의 기댓값이 모수와 같아야한다. (2) 효율성: 추정량의 분산이 작아야 한다. (3) 일치성: 표본의 크기가 충분히 클 때, 추정량은 모수에 확률수렴해야 한다. 이 3가지 기준 중 비교적 중시되는 것은 불편성과 효율성이다. 어떤 모수를 추정하기 위한 추정량을 생각할 때, 가장 먼저 불편추정량을 생각한다. 그리고 여러 불편추정량을 비교해서 분산이 최소가 되는, 다시 말해 가장 효율적인 불편추정량을 고른다. 이것을 최소분산 불편추정량(Minimum Variance Unbiased Estimator, MVUE; 最小方差无偏估计量)이라고 한다. 지난 글에서 선형예측을 다룰 때, 평균제곱오차를 이용해서 예측의 오차를 나타냈다...
추정량의 불편성, 효율성, 일치성 데이터를 관측 후, 모수를 추정하는 합리적인 방법은 여러가지가 있을 수 있다. 그런데 문제는 서로 다른 방법으로 모수를 추정했을 때, 결과물이 다를 수가 있다. 예를 들어 균등분포 $\mathrm{U}[a,b]$에서 적률 추정량(MME) $\hat{\boldsymbol\theta}_M$과 최대가능도 추정량(MLE) $\hat{\boldsymbol\theta}_L$이 다르다는 것을 확인했다. 계산을 편리하게 하기 위해 $a=0$으로 놓고 $b$만 추정해본다고 하면, 다음과 같다. $$ \begin{split} &\hat{b} _M=2\overline{X} \\ &\hat{b} _L=X _{(n)} \end{split} $$ 두 추정량 모두 합리적이다. MME는 균등분포 구간의 끝을 평균의 2배로 잡고, M..
최대가능도 추정법 #1. 최대가능도 추정법의 원리 치명타 확률이 $p$인 무기로 일정시간 동안 고정된 타깃을 공격한다고 하자. 타깃을 1번 공격하고 치명타가 발생하기를 기대하는 것은 1번의 베르누이 시행과 같다. 타깃을 매번 공격할 때마다, 치명타의 발생 여부는 0 또는 1의 값을 가지는 확률변수이며, 모수가 $p$인 베르누이 분포를 따른다. 공격 종료후 총 피해량을 측정했더니 꽤 높게 나왔다고 하자. 이때, $p$의 값을 높다고 추정하는 것이 합리적이다. $p$의 값이 낮다면, 이만한 피해를 줄 수 없기 때문이다. 반면, 예상보다 낮은 피해량이 측정되었다면 $p$의 값이 낮다고 추정하는 것이 합리적이다. 모수를 추정하는 방법 중 최대가능도 추정법은 바로 이런 원리에 기반한 방법이다. 모집단 $X$로부터 추출한 표본의 관..
적률 추정법 우리가 표본을 추출하는 이유는 표본의 특성을 토대로 모집단의 특성을 추론하기 위해서다. 모평균 $\mu$를 추정하기 위해 표본평균 $\overline{X}$를 계산하는 것이 좋은 예시다. 이때, 표본평균을 모평균의 추정량(Estimator; 估计量)이라고 한다. 추정량은 확률변수다. 추정량의 관측값을 간단히 추정치라고 한다. 이와 비슷하게 모분산 $\sigma^2$을 추정하기 위해 표본분산 $S^2$을 계산할 수도 있다. 이런식으로 모집단의 모수를 추정하기위해 그에 해당하는 통계량을 추정량으로 삼는다. 일반적인 모수를 $\theta$라고 나타내며, 추정량은 $\hat{\theta}$로 나타낸다. 모수가 $\theta$인 모집단 $X$의 분포함수는 $F_X(x; \theta)$로 나타낸다. 추정량 $\ha..
표본평균과 표본분산의 극한 모집단 $X\sim F$에서 크기 $n$인 단순무작위표본 $X_1,\cdots,X_n$을 추출했다고 하자. 모평균 $\mathbb{E}[X]=\mu$, 모분산 $\mathrm{Var}[X]=\sigma^2$이라고 하자. 표본평균 $\overline{X}$와 표본분산 $S^2$의 정의는 다음과 같다. $$ \begin{split} &\overline{X}:=\frac{1}{n}\sum_{i=1}^{n}X_i \\ &S^2:=\frac{1}{n-1}\sum_{i=1}^{n}(X_i-\overline{X})^2 \end{split} $$ 이때, 큰 수의 법칙에 의해 $\overline{X}\overset{\mathrm{a.s.}}{\to}\mu$이고 $S^2\overset{\mathrm{a.s.}}{\to}\..
t분포 요약: #1. t분포의 2가지 정의 $Z$ 통계량과 그것의 분포인 z분포는 유용하지만 단점이 하나 있는데, 바로 통계량에 모분산 $\sigma^2$이 들어가는 것이다. 실제 응용에서는 모분산을 알 수 없으므로, 이 모분산을 표본분산 $S^2$으로 대체한 $T$ 통계량과 t분포를 생각하게 된다. (t분포의 1번째 정의) 다음과 같이 정의된 통계량 $T$의 분포를 자유도가 $(n-1)$인 t분포라고 하며, 기호로는 $t(n-1)$로 나타낸다. $$ T:=\frac{\overline{X}-\mu}{S/\sqrt{n}}\sim t(n-1) $$ t분포의 자유도가 $(n-1)$인 이유는 표본분산의 자유도가 $(n-1)$이기 때문이다. 한편, $T$ 통계량은 다음과 같은 변형이 가능하다. $$ T:=\frac{\o..
‘표본분산의 분포’의 이해와 증명 카이제곱분포의 의의는 표본분산과 관련된 분포라는 것이다. 이것을 두고 카이제곱분포를 ‘표본분산의 분포’라고 표현하기도 한다. (하지만 엄밀히 말해서는 ‘표본분산에 자유도를 곱하고 모분산을 나눈것의 분포’라고 말해야 맞다.) $$ \frac{(n-1)S^2}{\sigma^2}\sim\chi^2(n-1) $$ #1. 이해 이 사실의 증명을 하기 위해 먼저 $\frac{(n-1)S^2}{\sigma^2}$을 다음과 같이 변형해보자. $$ \begin{split} &\sum_{i=1}^{n}(X_i-\overline{X})^2=\sum_{i=1}^{n}(X_i^2-2X_i\overline{X}+\overline{X}^2)=\sum_{i=1}^{n}X_i^2-2\overline{X}\sum_{i=1}^{n}X_i..
자유도 #1. 정의, 예시 수리통계학에서 자유도(Degree of Freedom; 自由度)는 통계량의 계산식에서 ‘서로 독립인 확률변수의 개수’이다. 예를 들어 카이제곱 통계량의 계산식에서는 서로 독립인 $X_i^2$가 $n$개 들어간다. ($X_i$가 서로 독립이므로 $X_i^2$도 서로 독립이다. ) 그리고 이 $n$개의 $X_i^2$는 자유롭게 값을 가질 수 있다. 따라서 카이제곱 통계량의 자유도는 $n$이다. $$ \chi^2:=X_1^2+X_2^2+\cdots+X_n^2 $$ 표본평균의 계산식에서는 서로 독립인 $X_i$가 $n$개 들어간다. 그리고 이 $n$개의 $X_i$는 자유롭게 값을 가질 수 있다. 따라서 표본평균의 자유도는 $n$이다. $$ \overline{X}=\frac{1}{n}(X_1+..
카이제곱분포 #1. 정의 모집단 $X\sim\mathrm{N}(0,1)$에서 크기가 $n$인 단순무작위표본 $X_1, X_2,\cdots,X_n$을 추출했다고 가정하자. 이때 통계량 $\chi^2:=X_1^2+X_2^2+\cdots+X_n^2$의 분포를 자유도가 $n$인 카이제곱분포(Chi-squared Distribution; 卡方分布)이라고 하며, 기호로는 $\chi^2(n)$으로 나타낸다. 카이제곱분포의 정의에 의해, $\chi^2\sim\chi^2(n)$이다. 한편, 지난 글에서 표준정규분포를 따르는 확률변수의 제곱합은 $\Gamma(n/2,1/2)$를 따르는 것을 유도했다. (표본추출분포 참조.) 따라서 카이제곱분포의 확률밀도함수는 다음과 같이 주어진다. $$ f_{\chi^2}(k)= \begin{case..

티스토리툴바