용감해지고 싶은 쫄보의 도전기

1. MySQL이란?- 관계형 데이터베이스로서 데이터를 구조적으로 저장하고 관리하기 위해 사용(속도, 신뢰성)- SQL: Structured Query Language- 관계형 데이터베이스 관리 시스템(RDBMS) 비교OracleMySQLPostgreSQL- 유료- 대규모 트랜잭션에 최적화- 높은 학습 곡선- 금융, 대규모 ERP, 복잡한 트랜잭션 등- 무료(커뮤니티 버전)- 읽기 작업에 특화, 중소규모에 적합- 상대적으로 쉬움- 중소규모 웹앱, 전자상거래, 블로그 등- 무료- 대규모 데이터 및 트랜잭션에 강점- 중간 수준- 데이터 분석 플랫폼, 복잡한 쿼리,JSON/NoSQL과 관계형 데이터를 함께 사용 2. Python과 MySQL의 연동하면 좋은 점- python을 통해 데이터를 가져와 복잡한 데이..

1. 크롤링이란?- 웹에서 정보를 수집하는 기술-  쇼핑몰의 가격 정보를 크롤링하여 경쟁사 분석, 뉴스 기사나 학술 정보를 크롤링하여 데이터 분석 등에 사용 2. 사용법- 무한 스크롤의 경우 구글 크롬 검사(개발자모드) > Network 탭을 열고, 스크롤을 내린뒤 나오는 글 중 특정 글자를 filter에서 검색하고 클릭한다. 그 다음 header 탭을 클릭하면 Request URL:에 URL주소를 알려준다. 해당 url로 get요청을 하면 selenium으로 스크롤을 내리거나 할 필요 없이 json이나 beautifulsoup로도 간단하게 크롤링을 할 수 있다. 1) 데이터가 json 형식으로 생긴 경우import requestsimport jsonpage = requests.get("크롤링 하고 싶은..

1. 라이브러리 확인- 제공된 라이브러리(63개)만 사용할 수 있으며, 시험 중 추가 설치 불가- beautifulsoup4, selenium도 있었지만 requests가 없는거 보니 크롤링 문제는 안나올 것 같다. # 데이터프레임, 연산 기본pandasnumpy# 시각화(EDA)matplotlibseaborn# 통계, 모델링scipystatsmodelsscikit-learnxgboostlightgbm- 이름/사용법이 생각 안날 때: help, dirfrom sklearn import ensemble# 모듈의 설명 출력(사용 예시 등)help(ensemble)# 모듈내 포함된 클래스/함수 탐색print(dir(ensemble)) # RandomForestClassifier, GradientBoostin..

※ 빅데이터 분석기사 실기 체험: 예제 풀어보기 https://dataq.goorm.io/exam/3/%EB%B9%85%EB%8D%B0%EC%9D%B4%ED%84%B0%EB%B6%84%EC%84%9D%EA%B8%B0%EC%82%AC-%EC%8B%A4%EA%B8%B0-%EC%B2%B4%ED%97%98/quiz/5 1. 타이타닉 데이터셋 다운로드: https://www.kaggle.com/c/titanic/ 2. 문제풀이1) Sex와 Survived 변수 간의 독립성 검정시 카이제곱 통계량은? (반올림하여 소수 셋째짜리 까지 계산)import pandas as pdimport numpy as np# 파일 불러오기df= pd.read_csv('train_titanic.csv')df.info()# 결측치 확인d..

1. 모델 구조(층) 생성:  Sequentail 또는 FunctionAPI 1) Sequentail: 모델이 단순하고 순차적인 구조가 필요한 경우import tensorflow as tf# 1: Sequentailmodel = tf.keras.models.Sequentail([ tf.keras.layers.Dense(64, activation='relu', input_dim=8), # 첫번째 노드 tf.keras.layers.Dense(1, activation='sigmoid'), # 마지막 레이어는 항상 예측 결과(0과 1로 예측할거면 1)]) 2) FunctionAPI: 복잡한 구조(병렬/스킵, 연결, 다중 입력/출력)가 필요한 경우import tensorflow as tf# 2: FunctionA..

1. 신경망- Neural Network, 생물학적 뉴런의 동작을 모방하여 데이터 간의 관계를 학습- 뉴런의 기본 동작 - z를 활성화 함수에 전달하여 뉴런이 활성화될지 여부를 결정 1) 입력층(Input Layer)- 입력 데이터를 받아들이는 계층, 각 특징(feature)이 뉴런 하나에 대응- 이미지 데이터 64*64 크기의 입력층 뉴런 갯수 = 64*64- 활성화 함수는 사용하지 않는다 2) 은닉층(Hidden Layers)- 입력 데이터를 처리하고, 패턴이나 특징을 학습- 은닉층의 갯수와 뉴련 수는 문제의 복잡도에 따라 결정된다.- 하나 이상의 은닉층을 포함하며, 층이 많아질수록 딥러닝이 된다.- 활성화 함수 사용하여 복잡한 패턴을 학습: tanh, ReLU- 과적합 방지를 위해 규제(Regula..

1. 언제 검정이 필요할까?1) 그룹 간 평균 차이가 유의미한가? 그룹이 2개면 T-검정, 그룹이 3개이상이면 ANOVA- t-검정 또는 ANOVA 검정을 수행하기 전에, 독립성 > 정규성 > 등분산성 순으로 가정을 만족하는지 확인가정확인방법가정의 가정가정 만족하지 않는다면t-test,  ANOVA 대신독립성- 연구설계(무작위 샘플링, 실험군-대조군)- 범주형: 카이제곱 검정- 잔차: Durbin-Watson, ACF 플롯- 군집: ICC- 시계열: Ljung-Box, ACF* 카이제곱 독립성 검정- 각 기대빈도 값 5 이상(5미만은 피셔의 정확검정)- 데이터 독립적으로 수집- Paired t-test- Mixed Effects Model정규성- 시각적: 히스토그램, Q-Q플롯- Shapiro-Wilk-..

1. 코랩 실행 2. 캐글 로그인 후,   설정>API>Create New Token 클릭> 다운로드 된 json파일 colab에 업로드 3. 캐글 data탭에서 다운로드 코드 복사- 예시 : 개, 고양이 데이터 셋 https://www.kaggle.com/competitions/dogs-vs-cats-redux-kernels-edition/data 4. 코랩에 해당 코드 입력 및 실행하여 다운로드 받기import osos.environ['KAGGLE_CONFIG_DIR'] = '/content/'!kaggle competitions download -c dogs-vs-cats-redux-kernels-edition 5. 파일 압축 해제!unzip -q dogs-vs-cats-redux-kernels-e..