[데이터분석] 데이터 분석 싸이클

1. 문제 정의 및 목표 설정

• 목표 설정: 분석의 최종 목표를 정의하고 해결하려는 문제를 명확히 한다.
• 가설 설정: 해결하고자 하는 질문을 바탕으로 가설을 세운다.

2. 데이터 수집

• 데이터 원천 탐색: 필요한 데이터를 어디서 얻을지 결정한다. (데이터베이스, API, 웹 크롤링 등)
• 데이터 수집: 데이터를 수집하고 저장한다. (파일 형식: CSV, Excel, SQL 등)

3. 데이터 전처리

• 데이터 클렌징: 결측치, 이상치, 중복 데이터 등을 처리한다.
• 데이터 변환: 데이터 형식 변환, 정규화, 범주형 변수 인코딩 등.
• 특성 선택 및 추출: 모델링에 적합한 특징을 선택하고 필요시 새로운 특성을 추출한다.

4. 데이터 탐색(EDA: Exploratory Data Analysis)

• 기술 통계 분석: 데이터의 기초적인 분포, 중앙값, 평균 등을 확인한다.
• 시각화: 데이터의 트렌드와 상관관계를 이해하기 위해 시각화 도구를 활용한다.
• 상관관계 분석: 변수 간 관계를 파악하고 상관성이 높은 변수를 선정한다.

5. 모델링

• 데이터 분할: 데이터를 훈련 데이터와 테스트 데이터로 나눈다.
• 모델 선택: 문제 유형에 맞는 알고리즘 선택 (회귀, 분류, 클러스터링 등).
• 모델 훈련: 훈련 데이터를 사용해 모델을 학습시킨다.
• 모델 평가: 테스트 데이터를 사용해 모델의 성능을 평가한다. (평가지표: 정확도, 재현율, F1 Score 등)

6. 모델 성능 튜닝

• 하이퍼파라미터 튜닝: 모델의 성능을 최적화하기 위해 파라미터를 조정한다.
• 교차 검증: 데이터를 여러 번 나누어 학습하고 검증하여 일반화 성능을 높인다.

7. 모델 배포

• API 개발: 모델을 다른 시스템에서 사용할 수 있도록 API로 배포한다. (Flask, FastAPI 등)
• 클라우드 배포: 클라우드 환경(AWS, GCP 등)에 모델을 배포하여 실시간 예측 서비스 제공.

8. 모델 모니터링 및 개선

• 실시간 모니터링: 모델이 배포된 후 성능을 지속적으로 모니터링하여 성능 저하를 감지한다.
• 재학습 및 업데이트: 새로운 데이터가 생길 경우, 모델을 재학습시키고 성능을 개선한다.