통계 기초 : the meaning of power (통계 파워의 의미) + 알파 + 베타 기본 콘텐츠로 건너뛰기

통계 기초 : the meaning of power (통계 파워의 의미) + 알파 + 베타

 통계를 처음 공부할 때, 마주하는 아주 중요한 개념들이 있다. 

특히 통계적인 검정을 하고자 할 때, 기초적 검정이든 고급 검정이든 이번에 정리하고자 하는 개념들은 항상 사용되기 때문에 확실하게 알고 가는 것이 좋다. (항상 헷갈림)


📙 1. 통계학개론과 같은 교재에서 '검정(hypothesis test)' 파트에 도달하면 가장 먼저 나오는 단어(?) 중에 하나가 '알파α'이다.

통계에서 알파α는 유의 수준(significance level)이라는 개념을 갖고 있다.

유의 수준은 제 1종의 오류(=귀무가설이 사실인데 기각하는 오류)를 허용할 확률이다. 유의 수준으로는 5%가 많이 사용되는데, 이는 제 1종의 오류를 허용할 확률이 5%라는 의미이다. 따라서 통계 검정시 유의 확률(p-value)이 유의 수준(significance level)인 5%보다 작으면 귀무가설을 기각하게 되는 것이다.

알파를 간단하게 정리하면 다음과 같이 나타낼 수 있다.

📌 알파 = 유의 수준 = 제 1종의 오류 = 위양성

α (alpha) = significance level = type 1 error = false positive


📘 2. 검정(hypothesis test) 파트에서 알파 다음으로 나오는 개념이 '베타β'이다.

 알파α가 제 1종의 오류를 나타냈다면, 베타β는 제 2종의 오류(=귀무가설이 거짓인데도 기각하지 않는 오류)를 나타낸다. 제 2종의 오류는 제 1종의 오류보다는 상대적으로 덜 치명적이긴 하지만, 여전히 오류라는 사실을 벗어날 수 없다.

베타를 간단하게 정리하면 다음과 같이 나타낼 수 있다.

📌 베타 = 제 2종의 오류 = 위음성

β (beta) = type 2 error = false negative


이를 그림으로 나타나면 다음과 같다. (출처는 scribbr)


📋통계에서 검정력(=Power)이라 불리는 개념은 1에서 베타를 뺀 것이다.

즉, '검정력=Power'는 1에서 제 2종의 오류 확률을  뺀 것으로, 귀무가설이 거짓일 때 귀무가설을 기각할 확률이며, 이는 대립가설이 참일 때 대립가설을 받아들일 확률로, True Positive일 확률이다.

 검정력을 간단하게 정리하면 다음과 같다.

📌 Power in statistics

    = 1 - β (beta)

    = 1 - type 2 error

    = 1 - Pr(False Negative)

    = True Positive

    = probability of accepting an alternative hypothesis when the alternative hypothesis is true.

    =Pr(reject H0 | H1 is true)

    = Sensitivity


따라서 높은 통계적 검정력이란 의미는 제 2종의 오류의 risk가 작다는 것을 의미한다.

"High statistical power" means there is small risk of having type 2 errors(false negative).


이론적으로는 제 2종의 오류와 제 1종의 오류를 모두 줄이는 것이 좋지만 불가능하다. 알파를 작게하면 베타가 커지고, 베타를 줄이면 알파가 커진다.

예를 들어, Bonferroni correction을 하게 되면 제 1종의 오류를 줄이게 되는, 매우 보수적인 방법이다. 따라서 Bonferroni correction을 적용하면 제 2종의 오류 확률이 증가하게 된다.

반대도 마찬가지이다. 제 2종의 오류를 줄이려 한다면 귀무가설을 기각할 확률이 증가하므로 제 1종의 오류가 증가하게 된다.


아래 표를 가지고도 생각해볼 수 있다.


Predicted
Positive Negative
Actual Positive True Positive (TP) False Negative (FN)
= beta
Negative False Positive (FP)
= alpha		 True Negative (TN)
라벨:

댓글

댓글 쓰기

이 블로그의 인기 게시물

Radiomics: Feature selection 3

  Demircioğlu, Aydin PhD  Benchmarking Feature Selection Methods in Radiomics, Investigative Radiology: January 18, 2022 - Volume - Issue - doi: 10.1097/RLI.0000000000000855 High dimensionality of the datasets and small sample sizes are critical problems in radiomics. Therefore, removing redundant features and irrelevant features is needed. Overall, per dataset,  30 different feature selection methods + 10 classifiers + 70 hyperparameter settings After each feature selection method, 1, 2, ..., 64 features were selected. Altogether, 14,700=30✕70 ✕7 models were fitted, each with a 10-fold cross-validation . More complex methods are more unstable than simpler feature selection methods. LASSO performed best when analysing the predictive performance , though it showed only average feature stability . Longer training times and higher computational complexity of the feature selection method do not mean for high predictive performance necessarily. Obtaining a more stable mode...
댓글 쓰기
자세한 내용 보기

통계 : Dummy Variable Trap

 Regression model을 만들다 보면, 독립변수로 명목형 변수를 사용할 때가 많다. 지역이나 성별, biomaker유/무 등이 대표적으로 많이 사용되는 명목형 변수로, 특히 medical 저널에서는 성별을 covariate으로 취급하여 성별에 따른 종속변수의 차이를 보고자 할 때가 많다. 명목형 변수들은 Dummy Variable로 바꾸어서 regression model을 만드는데, one hot 인코딩 방식으로 더미 변수들을 만든다. 예를 들면,  ❕ male=0, female=1 ❕ Biomarker유=1, Biomarker무=0 이런식으로 만든다. 이와 같은 binary 데이터들은 더미 변수로 만드는 것도 쉽고 큰 문제가 되지 않는다. one-hot encoding의 이유는, 0과 1 대신 빨간색, 녹색, 파란색을 1,2,3 으로 코딩해버리면, 적합한 모델은 숫자가 더 큰 3을 빨간색보다 더 중요한 인자로 생각하게 되기 때문이다. 학력처럼 순서형이면 각 숫자에 의미가 있지만 여러 컬러처럼 단순 명목형일 때에는 one-hot 인코딩을 해야한다.  (단, 컬러가 연함 - 진함과 같이 순서형이라면 굳이 one-hot 인코딩을 안해도 된다.) one-hot encoding 의 예시는 아래 세 가지 카테고리로 보면 더 명확하게 이해가 된다. (image출처: https://towardsdatascience.com/encoding-categorical-variables-one-hot-vs-dummy-encoding-6d5b9c46e2db) 그럼 binary 말고 여러 카테고리가 있는 변수의 경우는 어떤 식으로 더미 변수를 만들까? Regression 모델을 만들 때에는 k개의 카테고리가 있다면, k-1개의 더미변수를 생성하게 된다. 위 그림에서 Blue일 때, d1, d2, d3 모두 0으로 코딩해도 Red, Green과 차이가 있으므로, d1과 d2만 만들어도 무방하다는 의미이다. 즉, d1과 d2가 0일 때, Blue가...
댓글 쓰기
자세한 내용 보기

수리통계학 - 이산형 확률변수의 확률분포

 이산형 확률분포의 종류  - 베르누이분포, 이항분포, 이산형균등분포, 기하분포, 초기하분포, 음이항 분포, 포아송 분포 등 이산형 확률변수의 적률생성함수는 다음과 같은 형태로 표현된다. $$ M_{X}(t)=E(e^{tX})=\sum_{x=0}^{\infty}e^{tx}f(x) $$ 1. 베르누이 분포 베르누이 시행의 확률변수 X의 분포는 X=1의 확률에 의해 정의된다. (X=0 or 1) P=P(X=1)=P(성공 ) 베르누이 시행의 확률질량함수 f(x)는 $$ f(x) = p^{x}(1-p)^{1-x}, x=0, 1 $$ 베르누이 분포의 기댓값과 분산은 다음과 같다. E(X)= p , Var(X)= p (1- p ) 베르누이분포의 적률생성함수는 다음과 같다. $$ M(t)=E(e^{tx})=(1-p)+pe^{t} $$ 적률생성함수 유도 과정은 아래와 같이 진행할 수 있다. $$ M(t)=E(e^{tX})=\sum_{x=0}^{1}e^{tx}f(x)=\sum_{x=0}^{1}e^{tx}p^{x}(1-p)^{1-x}=e^{0}p^{0}(1-p)^{1}+e^{t}p^{1}(1-p)^{0}=(1-p)+pe^{t} $$ 적률생성함수를 t에 대해 1차 미분한 후 t값에 0을 대입하면 평균을 도출할 수 있다. 베르누이 분포의 적률생성함수를 1차 미분하면  $$ M(t)=(1-p)+pe^{t}\Rightarrow M^{'}(t)=\frac{d}{dt}(1-p+pe^{t})=pe^{t} \Rightarrow M^{'}(0)=p $$ 2. 이항분포 베르누이 시행을 독립적으로 n번 반복하여 시행한 경우, 성공한 총 횟수를 X라 정의하면, 이 확률변수 X는 이항분포를 따른다. 이항분포의 확률질량함수 f(x)는 다음과 같다. $$ f(x)=\binom{n}{x}p^{x}(1-p)^{n-x}, x= 0,1,2,...,n $$ 이항분포의 기댓값 E(X)= np , Var(X)= np (1- p ) 이다. 이항분포 ...
댓글 쓰기
자세한 내용 보기