용감해지고 싶은 쫄보의 도전기

1. AWS란?- 아마존에서 제공하는 클라우드 플랫폼- 실시간 데이터 처리와 배치 데이터 처리 가능 2. EC2란?- 크기가 유연하게 변경되는 가상 서버 기능- 인스턴스가 실행되고 있을 때만 비용을 지불1) 비용 지불방법- 온디맨드: 시간당 정해진 금액을 지불(최소 60초), 개발 기간이 비교적 짧으며 소프트웨어 검증 및 테스트 단계에서 많이 사용- 리저브드: 1~3년 정도 싸게 임대, 하지만 인스턴스의 크기를 늘리거나 줄일 수 없다.- 스팟: 내가 제안한 경매 가격일 때만 실행, 하지만 인스턴스가 언제 켜지고 꺼질지 미리 알 수 없다.  2) EBS- EC2의 스토리지, 인스턴스가  종료되어도 EBS안에 들어있는 데이터는 여전히 존재한다- 가용영역: 메인 서버에서 만들어지는 일종의 복사본(백업용)- 타..

1. RAG란?- Retrieval-Augmented Cegeration1) 정보 검색(Retrieval): LLM이 텍스트를 생성할 때 관련 정보를 찾아 보고2) 텍스트 생성(Generation) 그 정보를 활용하여 새로운 텍스트를 만드는 기술 2. 정보 검색1) 질문/키워드 입력(쿼리)2) 해당 쿼리와 관련된 정보를 DB나 인터넷에서 찾음3) 유사도 검색: 검색 엔진이 쿼리와 DB에 있는 문서들 사이의 유사도를 계산- 키워드 검색: 사용자가 입력한 단어나 구를 DB나 인터넷에서 직접 찾는 방식- 시맨틱 검색: 단어의 의미와 문맥을 이해하여 보다 관련성 높은 결과를 제공하는 기술 4) 랭킹처리: 검색 결과를 가장 관련이 높다고 판단되는 문서부터 순서대로 나열- 유사도 계산: 문서나 단어 사이의 관련성이..

1. RestAPI란?- REpresentational State Transfer API- REST 원칙을 바탕으로 실제로 구현된 API, Restful- HTTP 메서드를 사용하여 클라이언트와 서버가 데이터를 주고받도록 만들어진 인터페이스* 인터페이스란? 다른 시스템이나 프로그램이 데이터를 주고받거나 기능을 호출할때 사용하는 접점- 사용자 인터페이스(UI): 사람들이 프로그램이나 기기를 쉽게 사용할 수 있도록 하는 화면 구성(버튼, 아이콘 등)- 프로그래밍 인터페이스(API): 프로그램이 다른 프로그램이나 시스템과 통신하기 위해 사용하는 경로 2. REST란?- 웹에서 클라이언트와 서버간 통신을 더 간편하고 직관적으로 설계하기 위한 웹서비스 아키텍처 스타일1) 무상태성: 요청간에 상태 정보를 저장하지 ..

1. 언어모델(Large Model)이란?1) 확률/통계적 방법 (n-gram)- 예시: 나는 오늘 점심에 뒤에 "피자를 먹었다" 가 나왔다는 것 => 과거에 "점심에" 뒤에 "피자"가 많이 나왔기 때문- 1-gram(유니그램): 전체 문장을 한 단어씩 나누는 것 => "The / cat / sat / on / the / mat"- 2-gram(바이그램): 전체 문장을 두 단어씩 나누는 것 => "The cat / cat sat / sat on / on the / the mat"- 3-gram(트라이그램): 전체 문장을 세 단어씩 나누는 것 =>"The cat sat / cat sat on / sat on the / on the mat"- 한계: 가능한 모든 n-gram을 DB에 저장하고 있어야 하고, ..

1. API란? - API는 Application Programming Interface의 약자로, 응용 프로그램 인터페이스입니다.- 서로 다른 소프트웨어나 프로그램이 서로 통신하고 데이터를 주고 받을 수 있도록 돕는 중간 다리 역할을 합니다.- API를 통해 직접 코드를 작성하지 않고도 필요한 기능을 다른 프로그램으로부터 가져와 사용할 수 있습니다. 2. Open API란?- 누구나 접근할 수 있도록 공개된 API를 말합니다.- 예시: 구글 맵스 API를 사용해 특정 위치 정보를 쉽게 가져와 앱에 연동- API 키를 발급받아 접근 권한을 얻고, 문서와 가이드를 통해 개발 방법을 지원 받습니다.- 새로운 앱이나 서비스가 기존 플랫폼의 기능을 더 쉽게 활용하도록 하여 빠른 서비스 확장과 혁신을 가능하게 합..

머신러닝에서 **이상치(Outlier)**는 데이터의 일반적인 패턴에서 크게 벗어난 값을 의미해요. 이상치는 모델 성능에 부정적인 영향을 줄 수 있기 때문에, 이를 적절히 처리하는 것은 중요한 단계입니다. 이 포스팅에서는 이상치의 정의와, 머신러닝 모델에서 이상치를 다루는 방법에 대해 설명하겠습니다.1. 이상치란 무엇인가?이상치는 데이터의 일반적인 분포에서 벗어난 값을 의미합니다. 이상치는 여러 가지 이유로 발생할 수 있습니다:데이터 입력 오류: 잘못된 값이 입력되었거나 측정 오류로 인해 발생.비정상적인 상황: 실제로 드물게 발생하는 극단적인 경우를 나타냄.특정 이벤트나 패턴: 외부 요인에 의해 데이터가 비정상적으로 변동하는 경우.이상치는 데이터 분석과 머신러닝 모델링에 부정적인 영향을 줄 수 있기 때문..

데이터 분석에서 **특성 선택(Feature Selection)**과 **특성 엔지니어링(Feature Engineering)**은 모델의 성능을 향상시키고, 예측력을 높이는 데 필수적인 단계입니다. 이 과정은 데이터를 단순히 입력하는 것이 아니라, 데이터를 최적화된 형태로 변환하여 모델이 더 정확하고 효율적으로 학습할 수 있도록 돕는 역할을 합니다.이번 포스팅에서는 특성 선택과 특성 엔지니어링이 무엇인지, 그리고 어떻게 수행하는지에 대해 알아보겠습니다.1. 특성 선택(Feature Selection)이란?**특성 선택(Feature Selection)**은 모델 학습에 꼭 필요한 **중요한 특성(변수)**만 남기고, 불필요한 특성은 제거하는 과정입니다. 머신러닝 모델은 많은 특성에 노출될 때 과적합(o..

데이터 분석 프로젝트에서 성공적인 결과를 얻기 위해서는 올바른 **데이터 탐색(Exploratory Data Analysis, EDA)**과 전처리가 필수적입니다. 이 단계는 데이터를 이해하고, 모델링을 위한 준비 작업을 하는 핵심 과정입니다. 이번 포스팅에서는 데이터를 탐색하고 시각화하는 방법, 그리고 데이터 전처리 과정에 대해 알아보겠습니다.1. 데이터 탐색(EDA)의 중요성**데이터 탐색(Exploratory Data Analysis, EDA)**는 수집된 데이터를 분석하기 전에 기본적인 통계 정보를 파악하고, 데이터의 분포와 관계를 탐구하는 과정입니다. 이를 통해 데이터를 더 깊이 이해하고, 분석에 필요한 인사이트를 도출할 수 있습니다.1.1 데이터 구조 이해데이터 탐색의 첫 단계는 데이터의 구조..