3. 통계적 추론과 가설검정, p-value

통계적 추론 2가지

어떤 이론이 과학적이려면 반증 가능성을 가져야한다.
반증가능성이란? 가설이 실험or관찰에 의해서 반증될 가능성
쉽게 말하자면, H1을 증명하기 어려우니 H0가 아니다로 증명

통계적 추론
1.추정 : 표본으로 모수 등 모집단에 대한 어떤 값을 추즉하는 과정으로 추정값 + 오차범위(표본오차, 신뢰구간) 같이 제시
- 추정 : 모집단의 평균이 30이다.

2.가설검정 : 표본으로 모집단에 대한 주장or가설의 옳고 그름을 판정 하거나 대립가설(H1)을 채택 or 귀무가설(H0)을 기각
- 검정 : 모집단의 평균이 30보다 클 것이다.

가설검정의 4가지 절차

1.알고있던 귀무가설(H0)과 입증하고자하는 대립가설(H1) 세우기 - 보수적, 잘 알려진 것을 H0로 잡고, H0를 실험한다.
- 입증하고자하는 대립가설을 증명하기는 너무 어려우니 알고 있던 귀무가설이 참이라고 가정하고 실험해서 반증하자
- 반증의 기준은 알고 있던 H0의 결과(검정통계량)가 연구자가 정한 유의수준(H0실험 분포상 x축에 찍히는 임계치결정)보다 바깥쪽에 찍혀 검정통계량(H0의 결과)에 의한 유의 확률이 기각역에 포함되어 **우연에 의한것으로 판단** -> 입증하고자**하는 H1가 유의미하다는 것으로 반증**.

2.검정통계량산출(H0가 참이라고 가정하고 한 실험에서 나온 결과 - 해당 분포 그래프 상 x축에 찍히는 점)

3.유의수준 결정 by 연구자 ( 분포상 임계치(-x축에 찍히는 점)와 기각역(-임계치보다 바깥쪽)을 결정)
- 유의수준은 연구자가 결정하는 것으로 H0로 실험한 결과를 우연이 아니라고 해줄 수 있는 한계치. 보통 p-value : 0.05로 한다.
- 유의확률은 H0로 실험한 결과 나오는 확률이다.

4.검정결과 해석

가설검정에 대하여

가설검정 자체는 보수적인 실험으로서 반증가능성을 실험한다.
먼저, 알고 있던 귀무가설(H0)는 실험전까지 맞고 판단하면서 살아간다.
다음, 입증하고자 하는 대립가설(H1)은 실험 후, 알고있던 귀무가설이 아니라는 충분한 근거(유의확률이 유의수준보다 적게나왔을 때)가 있을 때 채택한다.

통계적 추론(값 추정과 가설 검정)의 목적은 data로 의사결정을 내리는 것이다.
통계적 추론(값 추정과 가설 검정)에서의 통계적(statistical)이라는 말은 표본을 이용해서 추론한다는 말이다.

통계라는 말에는 항상 에러가 우연히 발생(error)가 있으니, 우연이 아니라 정말 의미가 있다(effect)를 근거로 통계 분석(통계적 추론 중 가설검정)을 통해 시작한다.

즉, 실험 결과가 우연(error)냐 아니냐(effect)를 결정하는 것이 가설검정이다.

가설검정의 용어

1. H0 : 알고 있던, 기존에 알려진 가설 = 귀무가설 => 유의확률(p-value) - (x축상 검정통계량, H0의 결과확률)가 유의수준(0.05)(x축상 임계치)보다 작을 때 기각
   -이것을 바탕으로 표본을 이용해 실험이 이루어진다. 분포, 그래프 전부다H0가 참이다라는 가정하에 그려진다.
2. H1 : 입증하고자 하는, 알고자하는 가설 = 대립가설 => 유의확률(p-value)가 유의수준(0.05)보다 작을 때 채택
   연구자는 귀무가설을 기각하고 싶어하고, 대립가설을 채택하고 싶어 할 것이다.
3. 제 1종 오류(a) : 귀무가설이 참인데 불구하고, 귀무가설을 기각 = 대립가설을 채택한 오류 => 제 2종 오류보다 심각 => 허용한계를 정해야함(보통 0.05)
   -효과/차이가 없다(H0)가 참인데 불구하고 기각 + 효과/차이가 있다고 판단. => 엄청난 부작용 발생가능성
4. 유의 확률(p값,p-value, significance probability) : 제 1종 오류가 발생할 확률 = 귀무가설이 참인데 불구하고 알고자하는 대립가설을 채택할 확률 -> 이것의 허용치가 유의수준 -> 유의수준 허용치 안에 들어온다면, H0(귀무가설)기각 H1(대립가설 채택).
5. 유의수준(Significant Level) : <귀무가설이 참이다 가정 하에> 데이터를 기반으로한(표본을 이용한) 실험결과(검정통계량)가 항상 옳은 것이 아니므로 연구가가 정한 유의확률(제1종오류가 발생할 확률 = 귀무가설이 참인데, 기각 + 대립가설을 채택하는 확률)의 최대허용한계, 최대값, 마지노선. 보통은 0.05로 잡는게 관례 => 실험의 분포 x축에 임계치(Critical value)가 결정되며, 그 이하가 H0의 기각역(Critical Region or reject region)이 됨
   -쉽게 말하면, 유의수준 0.05 = 100번 중 최대 5번까지는 실수(제1종오류=귀무가설 참인데 기각)가 발생하더라도 허용한다.
   -유의확률 0.03 = 100번 중 3번 실수(H1를 채택) -> 100번 중 5번(유의수준 0.05) 안에 들었다. -> 귀무가설이 참이더라도 기각하고 대립가설 채택
6. 제 2종 오류(b) : 귀무가설이 거짓인데 불구하고, 귀무가설을 기각하지 않은 오류 = 제 2종 오류(b)
7. 검정통계량(Test Statistic, M-) : 귀무가설이 참이다는 가정 하에, 표본을 이용하여 계산된 통계량, 실제 실험의 결과 => 검정 통계량 이하의 확률이 유의확률이 됨
   

가설검정의 예시

1. H0 : A반 키의 평균은 160이다.에 대해 H1 : A반 키의 평균은 160이 아니다를 입증하고 싶다.
   1) 가설설정은 되었다. 2번째 검정통계량(H0 참이라는 가정하 실험해서 결과)을 구하기 위해, A반 학생 10명을 뽑아서 평균 키를 젠다
   2) 유의수준(0.05)하에서 검정통계량(10명의 평균 키)을 바탕으로 유의확률을 계산한다
   3) 기각역에 들어오면 H0 기각 = H1 채택한다.

2. 휴지가 300m인지 확인해보고싶다. (보수적, 잘알려진 H0 : 휴지의 평균길이는 300m임)
   1) 가설설정 : H0 : 휴지의 평균길이 300m이다. H1 : 휴지의 평균길이가 300m이 아니다.
   2) H0하에 검정통계량을 계산하기 위해서 휴지 10개의 길이를 제고 유의수준하에 유의확률을 확인한다
   3) H0기각 = H1채택 하거나 H0를 그대로 기각하지않는다.

3. 숟가락이 잘 구부려진다 -> 나는 초능력자다( 보수적, 잘알려진 H0 : 나는 초능력자x : 내 능력 = 다른사람의 능력)
   1) 가설설정 : H0 : 나의 능력 = 다른사람들의 능력(보통 숟가락30개 구부림) / H1 : 내 능력 != 다른사람들의 능력(30개보다 더 많이 구부릴 것이다)
   2) H0하에서 10명과 함께 숟가락 구부린 횟수의 평균과 내 구부린 횟수의 평균을 비교하여, 검정통계량을 계산한다
   3) 유의수준하에서 유의확률을 확인하여, H0 기각 ? 기각x ? 를 결정한다.

4. 듀라셀 vs 에너자이져의 수명 차이
   1) 가설설정 : H0 : 듀라셀 수명 = 에너자이저 수명
   2) H0하에서 10개의 평균 수명을 비교 실험하여 검정통계량 계산
   3) 유의수준 하(H0실험의 t분포에서 0.05)에서 검정통계량에 의한 유의확률을 확인하여 H0 기각x or H1 채택 을 선택한다.

가설검정의 종류

1. 양측검정 : H1 : Ma != Mb 으로서 실험결과분포의 양쪽(Ma > Mb & Ma < Mb)을 봐야한다.
2. 단측검정 : H1 : Ma > Mb or Ma < Mb으로서 실험결과분포의 한쪽만 본다.

오늘날의 p-value

1. 빅데이터 시대로서 n수가 늘어나서 -> 유의확률0.05 들어가는 검정통계량도 늘었다 -> 다 유의하다고 나옴
2. p-value만 보기에는 문제가 생길 수 있다. -> 평균차이와 비율차이를 같이 제시 등
3. 유의함을 넘어서 더 좁아진 유용함(MCID, The Minimal Clinically Important Change Score)구간도 생김
4. JAMA에서 발표한 임상의 확증적 연구 : 0.005쓰자
5. 미국통계학회(ASA) : 종합해서 판단하자.