용감해지고 싶은 쫄보의 도전기

1. Docker란?- 컨테이너 기반의 가상화 시스템, 실행 환경을 독립적으로 격리한 컨테이너- 모두가 동일한 개발환경을 사용할 수 있어 물리적 환경의 차이, 서버 구성의 차이를로 인한 문제점을 방지할 수 있다.- 한 대의 서버에 웹 서버를 여러개 설치도 가능하다.- 도커와 가상화 기술의 차이: 컨테이너는 운영체제의 일부 기능을 호스팅 컴퓨터에 의존- AWS EC2: 각각의 인스턴스가 완전히 독립된 컴퓨터처럼 동작한다.(가상화 기술)- AWS ECS: 별도로 가상 서버를 만들지 않아도 컨테이너 이미지를 그대로 실행할 수 있다. 2. 서버란?- 어떤 서비스를 제공하는 것(기능적 의미의 서버/물리적 컴퓨터로서의 서버)- 소프트웨어를 설치해 기능을 갖춘다* 예시- 웹 서버: 웹사이트 기능을 제공하는 서버- 데..

1. IQR 이상치 : quantile()import pandas as pddf = pd.read_csv('train.csv')df.info()# 1-1. age 컬럼의 3사분위수와 1사분위수의 차를 절대값으로 구하고, 소수점 버려서, 정수로 출력¶df['Age'].isna().sum()Q1 = df['Age'].quantile(0.25)Q3 = df['Age'].quantile(0.75)IQR = Q3-Q1print(int(abs(Q3-Q1)))#1-2. (loves반응+wows반응)/(reactions반응) 비율이 0.4보다 크고 0.5보다 작으면서, type 컬럼이 'video'인 데이터의 갯수 fb = pd.read_csv('fb.csv')fb.info()fb.head()fb.query('((lo..

1. 과거와 현재를 비교해야 할 때(콜센터 등)- KT AICC https://www.kt-aicc.com/user/index 2. 제공된 데이터로 개인화된 맞춤 추천(콘텐츠 간의 유사도가 아닌, 검색 결과를 활용해 답변 및 이미지 생성)- 신세계라이브쇼핑: chatGPT 기반 상품 추천, 상품 문의 내용 분석 및 최적화 정보 제공 3. 사용자와의 질의 내용과 함께 사용자 정보를 조회하여 보험료와 가입 조건을 결정- 교보생명 4. 코드 생성 및 리뷰- 데이터 분석, 머신러닝 모델 생성 등 5. 오피스 프로그램- MS에서 word파일을 주면 내용을 읽고, PPT 기획을 구성한 뒤 PPT를 만들고 발표 대본까지 만들어 준다.

1. 린 스타트업- Lean Startup, 효율적인 실험과 검증을 통해 제품을 개발하는 것- 낭비를 줄이고, 사용자의 피드백을 활용해 시장 적합성을 찾고자 함- 주요 키워드1) MVP: 초기 아이디어를 빠르게 테스트하기 위해 가장 작은 규모의 제품을 출시2) 아이디어를 빠르게 "실행"하고, 데이터를 기반으로 성과를 "측정"하며, 이를 통해 "학습"하는 반복적인 사이클3) 시장에서 실제로 제품이 유효한지 데이터를 통해 검증 2. MVP란?- Minimum Viable Product의 약자로, 최소 기능 제품을 의미한다.- 제품 개발 과정에서 최소한의 핵심 기능만을 포함한 상태로, 사용자에게 출시하는 초기 버전을 가리킨다.- 목적1) 검증: 제품 아이디어가 시장에서 유효한지 테스트 하기 위해2) 피드백 수..

1. RAG란?- Retrieval-Augmented Generation의 약자로, 텍스트 생성 모델과 정보 검색 시스템을 결합한 AI 기술- 정보 검색(Retrieval)과 생성( Generation)의 단계로 나뉜다.- 데이터베이스 사용 외에도 외부 api를 활용해 "검색"한 결과를 LLM에 전달하고 답을 "생성"하면 RAG라고 할 수 있다. 2. RAG 구현시 사용한 라이브러리# 파일 읽어오기from langchain.document_loaders import TextLoader # 텍스트 파일from PyPDF2 import PdfReader # PDF 파일# 문서를 청크로 분할from langchain.text_splitter import RecursiveCharacterTextSplitte..

Q. 요즘같은 빅데이터(?)시대에는 정규성 테스트가 의미 없다는 주장이 있습니다. 맞을까요? 1. 정규성 테스트란? - 데이터가 정규 분포를 따르는지 여부를 확인하는 것입니다. 2. 왜 하나요?- 정규성 가정을 필요로 하는 특정 통계 분석이나 모델을 사용하는 경우- 표본이 작거나 특정 표본의 특성을 분석해야 하는 경우- 표본이 작고 정규성을 띠지 않으면, 데이터의 중심 경향이나 분포를 평균과 표준편차만으로 설명하기 어렵기 때문에, 정규성 검정을 통해 정규에 가깝다고 확인되어야 신뢰구간이나 가설 검정을 수행할 때 더 높은 신뢰성을 가질 수 있습니다.- 비모수적 모델이나, 비정규 분포를 처리하는 모델은 생략해도 무방합니다. - 데이터가 정규성을 띠지 않더라도 표본 크기가 크면 중심극한정리에 따라 데이터의 평..

Q. 정규화를 왜 해야할까요? 정규화의 방법은 무엇이 있나요?- ❌ 정규화(Normalization) 는 데이터가 특정한 분포를 따르게 하려는 것이 아니라 범위를 조정하는데 목적이 있다.* 데이터가 정규분포를 따르는지를 확인하는 것을 정규성(Normality) 검정이라고 합니다.※ 정규화(Regularization) : 과적합을 방지하기 위해 추가적인 규제(L1- 가중치의 절대값의 합, L2 규제- 가중치의 제곱의 합을 비용함수에 추가)를 부여해 일반화 성능을 개선하는 것 1. 정규화(Normalization)란?- 정규화는 각 데이터들의 범위를 일정하게 조절하여 피처들을 비슷한 스케일로 맞춰주는 것 2. 왜 해야할까?- 피처의 크기 차이로 인해 편향되는 것을 줄이고 각 변수들의 영향을 균형있게 학습하..

1. API연결# API 연결import osos.environ["OPENAI_API_KEY"] = "sk로 시작하는 자기 API Key 입력"  2. llm에 입력할 템플릿 작성# 템플릿 작성from langchain import PromptTemplatetemplate = "서울에서 프렌차이즈점이 아닌 유명한 {food} 맛집 세 곳 추천해줘"prompt = PromptTemplate( input_variables=["food"], template=template) 3. llm 생성# 모델 생성from langchain.chat_models import ChatOpenAIllm = ChatOpenAI(temperature=0, model='gpt-4') 4. 모델에 전달 및 예측 결과 반환..