용감해지고 싶은 쫄보의 도전기

[작업1유형]  1. loc[:9] : 리스트의 인덱싱과 다르게 9째 인덱스 "포함" 2.  특정 행과 열의 자료 조회 및 새로운 값 저장: loc[행,'열이름'], iloc[행,열] 3. 데이터 프레임의 정렬을 바꿨다면, loc을 사용하기 전에 reset_index(drop=True)를 해줘야 한다. [작업 3유형]※ 문제: 데이터 마님 빅분기 실기 기출 2회 ( https://www.datamanim.com/dataset/practice/ex2.html ) 1. 이항분포란?- 다음 조건을 만족하는 실험에서 성공 횟수의 분포1) 조건- 실험의 결과가 두 가지(성공/실패)로 나뉨- 각 실험이 독립적(개별 남성의 치과 방문 여부 독립)- 성공 확률이 p로 일정- 실험 횟수가 고정 2) 확률 구하기- P(X..

1. 통계적 추정- 데이터를 사용하여 데이터를 발생시킨 모수(평균, 비율 등)의 값을 예측하는 방법)- 점추정 / 구간추정 : 모수(평균, 비율)가 존재할 것으로 예상되는 점/구간을 추정하는 방법 2. 통계적 검정- 귀무가설을 기각할 수 있는 근거를 찾는 과정- 귀무가설(H0, Null Hyppothesis): 가장 기본적인 가정(현 상태, 참이라고 받아들여고 있는), '차이가 없다/효과가 없다'- 대립가설(H1, Alternative Hypothesis):우리가 증명하고자 하는 가설- 검정의 방향: 우리가 확인하고 싶은 대립가설의 방향이 검정 방향을 결정 3. 검정통계량- 가설 검정에 사용되는 확률 변수- 검정통계량의 실현치를 계산하고, 그 값에 따라 귀무가설을 기각할 지 말지에 대한 통계적 의사결정을..

1. 정규표현식이란?- 텍스트 데이터에서 원하는 규칙에 맞는 문자열을 찾거나 수정하기위해 사용하는 도구 2. 주요 정규식구분정규식의미문자/숫자/특수문자[abc]a,b,c중 하나[^abc]a,b,c가 아닌 문자[0-9] 또는 \d숫자[^0-9] 또는 \D문자[a-z]소문자 알파벳[A-Z]대문자 알파벳[a-zA-Z]대소문자 알파벳[a-zA-Z0-9_] 또는 \w문자,숫자,_[^a-zA-Z0-9_] 또는 \W특수문자\s공백(' ', \t, \n)\S공백이 아닌 문자(문자,숫자,특수문자)조건.임의의 한 글자^문자열의 시작$문자열의 끝원하는 글자{n}n번 반복원하는 글자{n,m}최소 n번, 최대 m번 반복 3. r"문자열"- Raw String- 문자열 내의 이스케이프 문자(\)를 그대로 처리- 정규식, 파일 경..

1. 신뢰구간이란?- 표본 데이터를 기반으로 모집단의 모수가 특정 범위 안에 있을 것이라고 추정하는 구간예) 95% 신뢰구간이 [44,55]일때, 이 구간이 참 평균을 포함할 확률이 95%라는 뜻- 신뢰구간은 표본 데이터에 기초한 것이며, 샘플링때마다 구간이 달라질 수 있다. 2. Z검정- 모집단의 비율을 알거나 표준편차를 알 때: Z분포(표준 정규분포, 표본의 수가 30이상일때)- 표준오차(Standard Error, SE): 표본 평균이나 비율 등의 통계량의 변동성 1) 비율검정 => 모집단의 비율 주변에서 표본 비율이 변동하는 정도를 측정표준오차Z - 통계량신뢰구간P0: 귀무가설에서 가정한 비율, n:표본의 크기p_hat: 표본의 비율 Z: 신뢰수준에 해당하는 z값  2) 평균 검정표준오차Z - 통..

1. 크루스칼-왈리스 검정이란?- 두 개 이상의 독립 표본 그룹 간의 중앙값 차이가 통계적으로 유의미한지를 검정하는 비모수적인 방법- 데이터가 정규성을 만족하지 않거나, 분산이 같지 않은 경우 적합 1) 특징- 비모수적 방법: 데이터가 정규분포를 따르지 않아도 사용할 수 있다.- 독립 표본: 그룹 간 데이터가 독립적이어야 한다.- 중앙값 비교: 평균 대신 중앙값을 비교한다.(* 데이터의 분포에 대한 가정을 거의 하지 않고 순위 기반이라)- 확장된 윌콕슨 순위합 검정: 두 그룹 간 차이를 비교하는 윌콕슨 순위합 검정을 여러 그룹에 확장한 방법 2) 사용 조건- 데이터는 연속형 또는 순위형 데이터야 한다.- 그룹 간 데이터는 독립적이어야 한다.- 각 그룹의 데이터 분포는 동일한 모양이어야 하지만 정규성을 만..

1. 카이제곱 독립성 검정- 두 범주형 변수가 서로 독립적인지(관련이 없는지) 검증- 카이제곱 통계량(χ^2)값과 자유도(df)를 사용하여 p-value를 구하고, 유의 수준과 비교1) 카이제곱 통계량(χ^2): 관찰된 데이터와 기대된 데이터의 차이- χ^2이 작다면, 관찰된 데이터와 기대 데이터간의 차이가 작기 때문에 귀무가설이 참일 가능성이 높다.2) 자유도(df): 교차표에서 가능한 독립적인 정보의 수3) p-value: 현재 데이터가 귀무가설을 따를 가능성- 귀무가설: 두 변수는 독립적이다. (p-value >  유의수준(보통 0.05))* 카이제곱 통계량(χ^2) 의 다른 용도1) 적합도 검정: 관찰된 데이터가 이론적으로 기대되는 분포에 얼마나 잘 맞는가?- 데이터가 정규분포를 따르는가? 던진 ..

1. 라이브러리 확인- 제공된 라이브러리(63개)만 사용할 수 있으며, 시험 중 추가 설치 불가- beautifulsoup4, selenium도 있었지만 requests가 없는거 보니 크롤링 문제는 안나올 것 같다. # 데이터프레임, 연산 기본pandasnumpy# 시각화(EDA)matplotlibseaborn# 통계, 모델링scipystatsmodelsscikit-learnxgboostlightgbm- 이름/사용법이 생각 안날 때: help, dirfrom sklearn import ensemble# 모듈의 설명 출력(사용 예시 등)help(ensemble)# 모듈내 포함된 클래스/함수 탐색print(dir(ensemble)) # RandomForestClassifier, GradientBoostin..

1. 언제 검정이 필요할까?1) 그룹 간 평균 차이가 유의미한가? 그룹이 2개면 T-검정, 그룹이 3개이상이면 ANOVA- t-검정 또는 ANOVA 검정을 수행하기 전에, 독립성 > 정규성 > 등분산성 순으로 가정을 만족하는지 확인가정확인방법가정의 가정가정 만족하지 않는다면t-test,  ANOVA 대신독립성- 연구설계(무작위 샘플링, 실험군-대조군)- 범주형: 카이제곱 검정- 잔차: Durbin-Watson, ACF 플롯- 군집: ICC- 시계열: Ljung-Box, ACF* 카이제곱 독립성 검정- 각 기대빈도 값 5 이상(5미만은 피셔의 정확검정)- 데이터 독립적으로 수집- Paired t-test- Mixed Effects Model정규성- 시각적: 히스토그램, Q-Q플롯- Shapiro-Wilk-..