용감해지고 싶은 쫄보의 도전기

작년 하반기 데이터 분석 관련 자격증을 열심히 취득했다.누군가는 자격증은 중요하지 않고, 정말 활용할 수 있는가가 더 중요하다고 말하지만나는 자격증을 취득하면서 그동안 공부한 개념들을 정리 할 수 있어서 좋았다. SQLD 시험이 겹쳐 빅데이터 분석기사 필기 시험은 2주 밖에 공부하지 못했지만데이터 탐색과 통계 파트는 2달간 데이터 분석 교육을 이수하면서 배운 내용들이 많이 겹쳐 공부하기 수월하였다.  1. 필기- 교재 : [이기적] 빅데이터 분석기사 필기 https://product.kyobobook.co.kr/detail/S000213942959 2025 이기적 빅데이터분석기사 필기 기본서 | 나홍석 - 교보문고2025 이기적 빅데이터분석기사 필기 기본서 | 최신 출제기준을 적용한 도서로, 빅데이터분석..

1. 막대그래프- 길이를 통해 값의 크기를 비교하는데 유용!- 내림차순으로 정렬해야 비교하기 편하다- 특정 참조선(평균값, 중간값, 목표값 등)을 표현해 해당 막대가 그 참조선에 도달했는지 비교 가능 2. 버블차트- 원의 크기를 통해 표현- 정확한 값의 비교가 아닌 전체적인 데이터의 트렌드를 보거나 대시보드에서 필터로 유용 3. 트리맵- 계층 구조의 데이터를 표시하는데 적합한 시각화- 전체 대비 부분의 비율이 얼마나 되는지 비교- 사각형의 크기와 색상에 따라 데이터의 패턴을 확인하고, 많은 데이터를 한번에 볼 수 있음 4. 산점도- 2개의 연속형 데이터에 대한 상관관계를 분석하는데 가장 많이 사용되는 시각화- 데이터가 얼마나 퍼져 있는지 분포 확인- 상수 라인/ 평균 라인 / 사분위수 및 중앙값 / 추세..

1. 제공 툴Tool설명BrowserbaseLoadTool웹브라우저와 상호작용하고 데이터를 추출하는 도구CodeDocsSearchTool코드 문서와 관련 기술 문서를 검색하는데 최적화된 도구CodeInterpreterTool파이썬 코드 해석ComposioTool CSVSearchToolcsv 파일 내에서 검색하도록 설계된 RAG 도구DALL-E ToolDALL-E API를 사용해 이미지를 생성하는 도구DirectorySearchTool디렉토리 내에서 검색하기 위한 RAG 도구, 파일 시스템 탐색 시 사용DOCXSearchToolDOCX 문서 내에서 검색을 목적으로 하는 RAG 도구, Word 파일 처리DirectoryReadTool디렉토리 구조와 그 내용을 읽고 처리하는 것 용이EXASearchTool다..

1. Pydantic- python에서 데이터 유효성검사와 데이터 구조를 정의하는데 사용- 데이터의 정확성과 타입 안전성 보장 1) 데이터 직렬화(Serialization)- 데이터를 저장하거나 전송할 수 있는 형식으로 변환하는 과정- 예: 데이터(객체, 딕셔너리 등)을 JSON, XML, 바이너리 형식 등으로 변환- 네트워크 통신이나 파일 저장을 위해 사용import json# 파이썬 딕셔너리 데이터data = {"name": "John", "age": 30}# JSON 형식으로 직렬화json_data = json.dumps(data)print(json_data) # '{"name": "John", "age": 30}' 2) 역직렬화- 직렬화된 베이터를 원래 데이터 구조로 복원하는 과정- JSON으로..

1. Thread란?- 프로그램이 동시에 여러 작업을 처리할 수 있도록 하는 작은 실행 단위→  예시: 인터넷 브라우저에서 스레드가 있다면, 한 스레드는 웹 페이지를 로드하고, 다른 스레드는 동영상 재생을 처리하고, 또 다른 스레드는 버튼 클릭 응답을 처리 2. I/O 바운드- 프로그램이 입출력 (Input/Output) 작업 때문에 실행 속도가 제한되는 상황- I/O : 컴퓨터가 데이터를 주고 받는 작업→ 예시: 하드디스크에서 파일을 읽거나 쓰는 작업, 인터넷에서 데이터를 다운로드하거나 서버와 통신하는 작업- 바운드: 제한/제약, 작업의 성능이나 처리 속도를 결정하는 요소가 무엇인지 설명할 때 사용- I/O 바운드:  I/O 작업이 성능의 병목이 되는 상황, 프로그램의 속도가 CPU의 연산 능력이 아니..

1. mysql 접속- cmd창 > mysql 접속> 비밀번호 입력* 환경 변수에 path등록>  C:\Program Files\MySQL\MySQL Server 8.0\bin을 한 번만 해주면 매번 cmd에서 해당 경로로 이동할 필요 없이 바로 mysql 실행이 가능하다! # 파일 경로로 이동 cd C:\Program Files\MySQL\MySQL Server 8.0\bin # mysql 실행 mysql -u root -p 2. 외부에서 연결할 수 있게 설정- '%'는 모든 사람 접근 가능, 로컬만 하고 싶다면 localhost, 특정 아이피 설정도 가능CREATE USER 'username'@'%' IDENTIFIED BY 'password';GRANT ALL PRIVILEGES ON *.* TO..

1. Agent- 특정 목적을 가진 AI 에이전트- 예시: agent1(데이터 수집 전문가), agent2(데이터 분석 전문가), agent3(리포트 작성 전문가)- 필요시 활용 툴 등록하여 성능 향상 가능data_collector = Agent( role="데이터 수집 전문가", # 역할 goal="다양한 소스에서 고품질 데이터 수집", # 목표 backstory="10년 경력의 데이터 수집 전문가", # 배경 설명 tools=[WebScrapingTool()] # 활용 툴 (필요시)) 2. Task- 수행하고자 하는 작업tesla_news= Task( description="테슬라 관련 최신 뉴스 수집, 요약, 분석하기", agent=data_collector, expect..

[ 서버리스 컴퓨팅]1. AWS Lambda: 서버리스 컴퓨팅- 특정 이벤트 트리거에 반응하여 코드 단위로 실행 2. Fargate- 컨테이너 단위로 애플리케이션을 배포하고 실행, EC2 없이 컨테이너 실행- AWS가 서버 관리 및 확장 처리 [API 관리]3. API Gateway- Rest API와 WebSocker API를 생성, 관리, 배포하는 서비스- AWS Lambda, EC2 등과 통합해 클라이언트와 백엔드를 연결 4. Rest API- 클라이언트- 서버 간의 요청/응답 방식으로 데이터를 교환하며 HTTP를 기반으로 동작- 요청마다 연결 및 해제- CRUD 작업, 정적 데이터 전송 등 5. WebSocket API- 클라이언트와 서버 간의 양방향 실시간 통신을 가능하게 하는 프로토콜- 지속적..