[빅데이터 분석기사 실기] 작업형3유형 3.카이제곱 독립성 검정(기대빈도)

1. 카이제곱 독립성 검정

- 두 범주형 변수가 서로 독립적인지(관련이 없는지) 검증

- 카이제곱 통계량(χ^2)값과 자유도(df)를 사용하여 p-value를 구하고, 유의 수준과 비교

1) 카이제곱 통계량(χ^2): 관찰된 데이터와 기대된 데이터의 차이

- χ^2이 작다면, 관찰된 데이터와 기대 데이터간의 차이가 작기 때문에 귀무가설이 참일 가능성이 높다.

2) 자유도(df): 교차표에서 가능한 독립적인 정보의 수

3) p-value: 현재 데이터가 귀무가설을 따를 가능성

- 귀무가설: 두 변수는 독립적이다. (p-value >  유의수준(보통 0.05))

χ^2 : 카이제곱 통계량, O:관찰빈도, E: 기대빈도

df: 자유도

* 카이제곱 통계량(χ^2) 의 다른 용도

1) 적합도 검정: 관찰된 데이터가 이론적으로 기대되는 분포에 얼마나 잘 맞는가?

- 데이터가 정규분포를 따르는가? 던진 주사위가 공정한가?

2) 동질성 검정: 여러 집단이 동일한 분포를 따르는가?

- 예: 지역별 구매 패턴이 동일한가?

 

2. 기대빈도(E)

- 카이제곱 검정을 사용하려면, 기대 빈도가 모든 셀에서 5이상이어야 한다.

- 관찰 빈도표(기존 데이터)와 기대 빈도표(계산한 값)를 비교하여 차이를 분석한다.

- 관찰 빈도표/기대 빈도표

관찰빈도표 (O)				기대빈도표 (E)
	흡연자	비흡연자	합계		흡연자	비흡연자	합계
남성	30	70	100	남성	35	65	100
여성	40	60	100	여성	35	65	100
합계	70	130	200	합계	70	130	200

- 산식 예시

E11 : 남성 & 흡연자