용감해지고 싶은 쫄보의 도전기

1. 카이제곱 독립성 검정- 두 범주형 변수가 서로 독립적인지(관련이 없는지) 검증- 카이제곱 통계량(χ^2)값과 자유도(df)를 사용하여 p-value를 구하고, 유의 수준과 비교1) 카이제곱 통계량(χ^2): 관찰된 데이터와 기대된 데이터의 차이- χ^2이 작다면, 관찰된 데이터와 기대 데이터간의 차이가 작기 때문에 귀무가설이 참일 가능성이 높다.2) 자유도(df): 교차표에서 가능한 독립적인 정보의 수3) p-value: 현재 데이터가 귀무가설을 따를 가능성- 귀무가설: 두 변수는 독립적이다. (p-value >  유의수준(보통 0.05))* 카이제곱 통계량(χ^2) 의 다른 용도1) 적합도 검정: 관찰된 데이터가 이론적으로 기대되는 분포에 얼마나 잘 맞는가?- 데이터가 정규분포를 따르는가? 던진 ..

1. 특정 열의 데이터 글자 수 확인: df['컬럼명'].str.len()import pandas as pd# 글자수가 8개인지 확인df[df['신고일자'].str.len() != 8] 2. 특정 글자수가 아니면 앞에 0 채우기: str.zfill(글자수)df['신고시각'] = df['신고시각'].str.zfill(6)3. 날짜 형식으로 바꾸기: pd.to_datetime(df['컬럼명'])df['신고시간'] = pd.to_datetime(df['신고시간'])df['출동시간'] = pd.to_datetime(df['출동시간'])4. 시간 차이(데이터 타입: timedelta) 초 형식으로 바꾸기df['소요시간'] = df['소요시간'].dt.total_seconds()5. (참고) ns(나노 세컨드)를 ..

1. 라이브러리 확인- 제공된 라이브러리(63개)만 사용할 수 있으며, 시험 중 추가 설치 불가- beautifulsoup4, selenium도 있었지만 requests가 없는거 보니 크롤링 문제는 안나올 것 같다. # 데이터프레임, 연산 기본pandasnumpy# 시각화(EDA)matplotlibseaborn# 통계, 모델링scipystatsmodelsscikit-learnxgboostlightgbm- 이름/사용법이 생각 안날 때: help, dirfrom sklearn import ensemble# 모듈의 설명 출력(사용 예시 등)help(ensemble)# 모듈내 포함된 클래스/함수 탐색print(dir(ensemble)) # RandomForestClassifier, GradientBoostin..

※ 빅데이터 분석기사 실기 체험: 예제 풀어보기 https://dataq.goorm.io/exam/3/%EB%B9%85%EB%8D%B0%EC%9D%B4%ED%84%B0%EB%B6%84%EC%84%9D%EA%B8%B0%EC%82%AC-%EC%8B%A4%EA%B8%B0-%EC%B2%B4%ED%97%98/quiz/5 1. 타이타닉 데이터셋 다운로드: https://www.kaggle.com/c/titanic/ 2. 문제풀이1) Sex와 Survived 변수 간의 독립성 검정시 카이제곱 통계량은? (반올림하여 소수 셋째짜리 까지 계산)import pandas as pdimport numpy as np# 파일 불러오기df= pd.read_csv('train_titanic.csv')df.info()# 결측치 확인d..

1. 언제 검정이 필요할까?1) 그룹 간 평균 차이가 유의미한가? 그룹이 2개면 T-검정, 그룹이 3개이상이면 ANOVA- t-검정 또는 ANOVA 검정을 수행하기 전에, 독립성 > 정규성 > 등분산성 순으로 가정을 만족하는지 확인가정확인방법가정의 가정가정 만족하지 않는다면t-test,  ANOVA 대신독립성- 연구설계(무작위 샘플링, 실험군-대조군)- 범주형: 카이제곱 검정- 잔차: Durbin-Watson, ACF 플롯- 군집: ICC- 시계열: Ljung-Box, ACF* 카이제곱 독립성 검정- 각 기대빈도 값 5 이상(5미만은 피셔의 정확검정)- 데이터 독립적으로 수집- Paired t-test- Mixed Effects Model정규성- 시각적: 히스토그램, Q-Q플롯- Shapiro-Wilk-..

1. IQR 이상치 : quantile()import pandas as pddf = pd.read_csv('train.csv')df.info()# 1-1. age 컬럼의 3사분위수와 1사분위수의 차를 절대값으로 구하고, 소수점 버려서, 정수로 출력¶df['Age'].isna().sum()Q1 = df['Age'].quantile(0.25)Q3 = df['Age'].quantile(0.75)IQR = Q3-Q1print(int(abs(Q3-Q1)))#1-2. (loves반응+wows반응)/(reactions반응) 비율이 0.4보다 크고 0.5보다 작으면서, type 컬럼이 'video'인 데이터의 갯수 fb = pd.read_csv('fb.csv')fb.info()fb.head()fb.query('((lo..

[1] 사분위수1. 정의데이터를 정렬하고 4개의 동일한 부분으로 나눈 값1) Q0: 최소값 (0% 지점) : 데이터셋의 최솟값2) Q1: 1사분위수 (하위 25% 지점) : Q1의 위치: (n+1)/43) Q2: 중앙값 또는 2사분위수 (50% 지점) - 데이터셋의 개수(n)가 홀수인 경우: (n+1)/2 위치의 값- 데이터셋의 개수(n)가 짝수인 경우: ( (n/2) + (n/2+1) ) / 2 위치의 값4) Q3: 3사분위수 (하위 75% 지점, 즉 상위 25%) : 3/4 * (n+1)5) Q4: 최대값 (100% 지점) : 데이터셋의 최댓값 2. 선형보간법- 보간(Interpolation): 두 개의 값 사이에 있는 위치에서 값을 추정하는 방법- 선형보간법 : 두 점 사이의 직선을 따라 중간값을 ..