용감해지고 싶은 쫄보의 도전기

1. 허깅스페이스- https://huggingface.co 2.models > task 별로 모델을 선택 할 수 있다. Trend를 쉽게 파악 할 수 있다. 3. 분야별 Task (나의 데이터와 문제에 맞는 task 찾는것이 중요)구분Task설명Multimodal:다양한 유형의 데이터를 동시에 처리/통합해 학습Audio-Text-to-Text오디오 입력과 텍스트를 기반으로 텍스트 출력을 생성Image-Text-to-Text이미지와 텍스트를 입력받아 텍스트 출력을 생성Visual Question Answering이미지와 질문(텍스트)을 입력받아 질문에 대한 답변을 생성Document Question Answering문서와 질문을 입력받아 답변을 생성Video-Text-to-Text비디오와 텍스트를 입력으..

Q. 중심극한정리는 왜 유용한걸까요? 1. 중심극한정리(Central Litmit Theorem, CLT) 란?- 모집단이 어떤 분포를 따르든 충분히 큰 크기의 표본을 여러번 추출하여 그 표본 평균을 구하면, 그 표본 평균의 분포는 정규분포에 가까워진다. 2. 중심극한정리의 활용성- 많은 통계 기법이 정규분포를 가정하고 설계되어 있다. (t-검정, 회귀분석, 신뢰구간 계산 등)- 정규분포를 근사적으로 사용할 수 있는 근거를 제공해 통계적 추론을 수행할 수 있다.(분석의 정당성 확보)- 데이터를 정규분포로 근사함으로써 실직적인 문제 해결에 도움을 준다.- 예시: 공장에서 생산된 제품의 품질 데이터를 정규분포로 근사하여, 평균 품질을 분석하거나 결함률을 추정할 수 있다. 3. 중심극한정리의 가정- 표본의 크..

- ConversationCahin이 최신 langchain 버전에서는 지원하지 않아 대체 코드를 찾기 위해 공식 문서를 찾아보았다.- 공식 문서의 예제 코드를 이해하려고 하니 class개념이 부족해 개념을 먼저 학습하였다 : https://bravesol.tistory.com/181 - langchain 라이브러리 공식 문서 :https://python.langchain.com/v0.2/api_reference/core/runnables/langchain_core.runnables.history.RunnableWithMessageHistory.htmlfrom operator import itemgetterfrom typing import Listfrom langchain_openai.chat_model..

1. 크롤링이란?- 웹에서 정보를 수집하는 기술-  쇼핑몰의 가격 정보를 크롤링하여 경쟁사 분석, 뉴스 기사나 학술 정보를 크롤링하여 데이터 분석 등에 사용 2. 사용법- 무한 스크롤의 경우 구글 크롬 검사(개발자모드) > Network 탭을 열고, 스크롤을 내린뒤 나오는 글 중 특정 글자를 filter에서 검색하고 클릭한다. 그 다음 header 탭을 클릭하면 Request URL:에 URL주소를 알려준다. 해당 url로 get요청을 하면 selenium으로 스크롤을 내리거나 할 필요 없이 json이나 beautifulsoup로도 간단하게 크롤링을 할 수 있다. 1) 데이터가 json 형식으로 생긴 경우import requestsimport jsonpage = requests.get("크롤링 하고 싶은..

1. 과거와 현재를 비교해야 할 때(콜센터 등)- KT AICC https://www.kt-aicc.com/user/index 2. 제공된 데이터로 개인화된 맞춤 추천(콘텐츠 간의 유사도가 아닌, 검색 결과를 활용해 답변 및 이미지 생성)- 신세계라이브쇼핑: chatGPT 기반 상품 추천, 상품 문의 내용 분석 및 최적화 정보 제공 3. 사용자와의 질의 내용과 함께 사용자 정보를 조회하여 보험료와 가입 조건을 결정- 교보생명 4. 코드 생성 및 리뷰- 데이터 분석, 머신러닝 모델 생성 등 5. 오피스 프로그램- MS에서 word파일을 주면 내용을 읽고, PPT 기획을 구성한 뒤 PPT를 만들고 발표 대본까지 만들어 준다.

Q. 정규화를 왜 해야할까요? 정규화의 방법은 무엇이 있나요?- ❌ 정규화(Normalization) 는 데이터가 특정한 분포를 따르게 하려는 것이 아니라 범위를 조정하는데 목적이 있다.* 데이터가 정규분포를 따르는지를 확인하는 것을 정규성(Normality) 검정이라고 합니다.※ 정규화(Regularization) : 과적합을 방지하기 위해 추가적인 규제(L1- 가중치의 절대값의 합, L2 규제- 가중치의 제곱의 합을 비용함수에 추가)를 부여해 일반화 성능을 개선하는 것 1. 정규화(Normalization)란?- 정규화는 각 데이터들의 범위를 일정하게 조절하여 피처들을 비슷한 스케일로 맞춰주는 것 2. 왜 해야할까?- 피처의 크기 차이로 인해 편향되는 것을 줄이고 각 변수들의 영향을 균형있게 학습하..

1. API연결# API 연결import osos.environ["OPENAI_API_KEY"] = "sk로 시작하는 자기 API Key 입력"  2. llm에 입력할 템플릿 작성# 템플릿 작성from langchain import PromptTemplatetemplate = "서울에서 프렌차이즈점이 아닌 유명한 {food} 맛집 세 곳 추천해줘"prompt = PromptTemplate( input_variables=["food"], template=template) 3. llm 생성# 모델 생성from langchain.chat_models import ChatOpenAIllm = ChatOpenAI(temperature=0, model='gpt-4') 4. 모델에 전달 및 예측 결과 반환..

1. RAG란?- Retrieval-Augmented Cegeration1) 정보 검색(Retrieval): LLM이 텍스트를 생성할 때 관련 정보를 찾아 보고2) 텍스트 생성(Generation) 그 정보를 활용하여 새로운 텍스트를 만드는 기술 2. 정보 검색1) 질문/키워드 입력(쿼리)2) 해당 쿼리와 관련된 정보를 DB나 인터넷에서 찾음3) 유사도 검색: 검색 엔진이 쿼리와 DB에 있는 문서들 사이의 유사도를 계산- 키워드 검색: 사용자가 입력한 단어나 구를 DB나 인터넷에서 직접 찾는 방식- 시맨틱 검색: 단어의 의미와 문맥을 이해하여 보다 관련성 높은 결과를 제공하는 기술 4) 랭킹처리: 검색 결과를 가장 관련이 높다고 판단되는 문서부터 순서대로 나열- 유사도 계산: 문서나 단어 사이의 관련성이..