용감해지고 싶은 쫄보의 도전기

작년 하반기 데이터 분석 관련 자격증을 열심히 취득했다.누군가는 자격증은 중요하지 않고, 정말 활용할 수 있는가가 더 중요하다고 말하지만나는 자격증을 취득하면서 그동안 공부한 개념들을 정리 할 수 있어서 좋았다. SQLD 시험이 겹쳐 빅데이터 분석기사 필기 시험은 2주 밖에 공부하지 못했지만데이터 탐색과 통계 파트는 2달간 데이터 분석 교육을 이수하면서 배운 내용들이 많이 겹쳐 공부하기 수월하였다.  1. 필기- 교재 : [이기적] 빅데이터 분석기사 필기 https://product.kyobobook.co.kr/detail/S000213942959 2025 이기적 빅데이터분석기사 필기 기본서 | 나홍석 - 교보문고2025 이기적 빅데이터분석기사 필기 기본서 | 최신 출제기준을 적용한 도서로, 빅데이터분석..

[작업1유형]  1. loc[:9] : 리스트의 인덱싱과 다르게 9째 인덱스 "포함" 2.  특정 행과 열의 자료 조회 및 새로운 값 저장: loc[행,'열이름'], iloc[행,열] 3. 데이터 프레임의 정렬을 바꿨다면, loc을 사용하기 전에 reset_index(drop=True)를 해줘야 한다. [작업 3유형]※ 문제: 데이터 마님 빅분기 실기 기출 2회 ( https://www.datamanim.com/dataset/practice/ex2.html ) 1. 이항분포란?- 다음 조건을 만족하는 실험에서 성공 횟수의 분포1) 조건- 실험의 결과가 두 가지(성공/실패)로 나뉨- 각 실험이 독립적(개별 남성의 치과 방문 여부 독립)- 성공 확률이 p로 일정- 실험 횟수가 고정 2) 확률 구하기- P(X..

1. 통계적 추정- 데이터를 사용하여 데이터를 발생시킨 모수(평균, 비율 등)의 값을 예측하는 방법)- 점추정 / 구간추정 : 모수(평균, 비율)가 존재할 것으로 예상되는 점/구간을 추정하는 방법 2. 통계적 검정- 귀무가설을 기각할 수 있는 근거를 찾는 과정- 귀무가설(H0, Null Hyppothesis): 가장 기본적인 가정(현 상태, 참이라고 받아들여고 있는), '차이가 없다/효과가 없다'- 대립가설(H1, Alternative Hypothesis):우리가 증명하고자 하는 가설- 검정의 방향: 우리가 확인하고 싶은 대립가설의 방향이 검정 방향을 결정 3. 검정통계량- 가설 검정에 사용되는 확률 변수- 검정통계량의 실현치를 계산하고, 그 값에 따라 귀무가설을 기각할 지 말지에 대한 통계적 의사결정을..

1. 정규표현식이란?- 텍스트 데이터에서 원하는 규칙에 맞는 문자열을 찾거나 수정하기위해 사용하는 도구 2. 주요 정규식구분정규식의미문자/숫자/특수문자[abc]a,b,c중 하나[^abc]a,b,c가 아닌 문자[0-9] 또는 \d숫자[^0-9] 또는 \D문자[a-z]소문자 알파벳[A-Z]대문자 알파벳[a-zA-Z]대소문자 알파벳[a-zA-Z0-9_] 또는 \w문자,숫자,_[^a-zA-Z0-9_] 또는 \W특수문자\s공백(' ', \t, \n)\S공백이 아닌 문자(문자,숫자,특수문자)조건.임의의 한 글자^문자열의 시작$문자열의 끝원하는 글자{n}n번 반복원하는 글자{n,m}최소 n번, 최대 m번 반복 3. r"문자열"- Raw String- 문자열 내의 이스케이프 문자(\)를 그대로 처리- 정규식, 파일 경..

1. 신뢰구간이란?- 표본 데이터를 기반으로 모집단의 모수가 특정 범위 안에 있을 것이라고 추정하는 구간예) 95% 신뢰구간이 [44,55]일때, 이 구간이 참 평균을 포함할 확률이 95%라는 뜻- 신뢰구간은 표본 데이터에 기초한 것이며, 샘플링때마다 구간이 달라질 수 있다. 2. Z검정- 모집단의 비율을 알거나 표준편차를 알 때: Z분포(표준 정규분포, 표본의 수가 30이상일때)- 표준오차(Standard Error, SE): 표본 평균이나 비율 등의 통계량의 변동성 1) 비율검정 => 모집단의 비율 주변에서 표본 비율이 변동하는 정도를 측정표준오차Z - 통계량신뢰구간P0: 귀무가설에서 가정한 비율, n:표본의 크기p_hat: 표본의 비율 Z: 신뢰수준에 해당하는 z값  2) 평균 검정표준오차Z - 통..

1. 크루스칼-왈리스 검정이란?- 두 개 이상의 독립 표본 그룹 간의 중앙값 차이가 통계적으로 유의미한지를 검정하는 비모수적인 방법- 데이터가 정규성을 만족하지 않거나, 분산이 같지 않은 경우 적합 1) 특징- 비모수적 방법: 데이터가 정규분포를 따르지 않아도 사용할 수 있다.- 독립 표본: 그룹 간 데이터가 독립적이어야 한다.- 중앙값 비교: 평균 대신 중앙값을 비교한다.(* 데이터의 분포에 대한 가정을 거의 하지 않고 순위 기반이라)- 확장된 윌콕슨 순위합 검정: 두 그룹 간 차이를 비교하는 윌콕슨 순위합 검정을 여러 그룹에 확장한 방법 2) 사용 조건- 데이터는 연속형 또는 순위형 데이터야 한다.- 그룹 간 데이터는 독립적이어야 한다.- 각 그룹의 데이터 분포는 동일한 모양이어야 하지만 정규성을 만..

1. 카이제곱 독립성 검정- 두 범주형 변수가 서로 독립적인지(관련이 없는지) 검증- 카이제곱 통계량(χ^2)값과 자유도(df)를 사용하여 p-value를 구하고, 유의 수준과 비교1) 카이제곱 통계량(χ^2): 관찰된 데이터와 기대된 데이터의 차이- χ^2이 작다면, 관찰된 데이터와 기대 데이터간의 차이가 작기 때문에 귀무가설이 참일 가능성이 높다.2) 자유도(df): 교차표에서 가능한 독립적인 정보의 수3) p-value: 현재 데이터가 귀무가설을 따를 가능성- 귀무가설: 두 변수는 독립적이다. (p-value >  유의수준(보통 0.05))* 카이제곱 통계량(χ^2) 의 다른 용도1) 적합도 검정: 관찰된 데이터가 이론적으로 기대되는 분포에 얼마나 잘 맞는가?- 데이터가 정규분포를 따르는가? 던진 ..

1. 라이브러리 확인- 제공된 라이브러리(63개)만 사용할 수 있으며, 시험 중 추가 설치 불가- beautifulsoup4, selenium도 있었지만 requests가 없는거 보니 크롤링 문제는 안나올 것 같다. # 데이터프레임, 연산 기본pandasnumpy# 시각화(EDA)matplotlibseaborn# 통계, 모델링scipystatsmodelsscikit-learnxgboostlightgbm- 이름/사용법이 생각 안날 때: help, dirfrom sklearn import ensemble# 모듈의 설명 출력(사용 예시 등)help(ensemble)# 모듈내 포함된 클래스/함수 탐색print(dir(ensemble)) # RandomForestClassifier, GradientBoostin..