용감해지고 싶은 쫄보의 도전기

1. API연결# API 연결import osos.environ["OPENAI_API_KEY"] = "sk로 시작하는 자기 API Key 입력"  2. llm에 입력할 템플릿 작성# 템플릿 작성from langchain import PromptTemplatetemplate = "서울에서 프렌차이즈점이 아닌 유명한 {food} 맛집 세 곳 추천해줘"prompt = PromptTemplate( input_variables=["food"], template=template) 3. llm 생성# 모델 생성from langchain.chat_models import ChatOpenAIllm = ChatOpenAI(temperature=0, model='gpt-4') 4. 모델에 전달 및 예측 결과 반환..

1. ETL이란?- Extract, Transform, Load- 데이터를 한 곳에서 다른 곳으로 옮기는 과정(데이터 연결)1) 추출(Extract): 여러 출처(DB, 파일, 웹서비스 등)로부터 필요한 데이터를 가져온다2) 변환(Transform): 추출한 데이터를 분석하고, 필요한 형태(텍스트 → 벡터, 임베딩)로 변환한다.3) 적재(load): 데이터베이스나 데이터웨어하우스에 저장, 벡터를 저장/관리/검색할 수 있는 기능 제공

다른 프로젝트와 격리하고, 파이썬 및 라이브러리 특정 버전 사용을 위해 가상 환경을 생성하여 프로젝트를 진행하고자 한다. 1. 준비: anaconda3 설치 : https://www.anaconda.com/download/success- anaconda prompt 또는 vscode 터미널 창 준비 2. 생성(llm은 대신 다른 이름으로 저장 가능)conda create -n llm python=3.8 3. 확인conda env list4. (참고) 삭제conda env remove -n llm5. 실행activate llm 6. vs code에서 주피터 노트북 사용- 상단 바에서 검색 시 >입력 후 검색(예. >>python: Select Interpreter) 7. 해당 가상관경에 필요한 라이브러리 ..

1. RAG란?- Retrieval-Augmented Cegeration1) 정보 검색(Retrieval): LLM이 텍스트를 생성할 때 관련 정보를 찾아 보고2) 텍스트 생성(Generation) 그 정보를 활용하여 새로운 텍스트를 만드는 기술 2. 정보 검색1) 질문/키워드 입력(쿼리)2) 해당 쿼리와 관련된 정보를 DB나 인터넷에서 찾음3) 유사도 검색: 검색 엔진이 쿼리와 DB에 있는 문서들 사이의 유사도를 계산- 키워드 검색: 사용자가 입력한 단어나 구를 DB나 인터넷에서 직접 찾는 방식- 시맨틱 검색: 단어의 의미와 문맥을 이해하여 보다 관련성 높은 결과를 제공하는 기술 4) 랭킹처리: 검색 결과를 가장 관련이 높다고 판단되는 문서부터 순서대로 나열- 유사도 계산: 문서나 단어 사이의 관련성이..

1. 언어모델(Large Model)이란?1) 확률/통계적 방법 (n-gram)- 예시: 나는 오늘 점심에 뒤에 "피자를 먹었다" 가 나왔다는 것 => 과거에 "점심에" 뒤에 "피자"가 많이 나왔기 때문- 1-gram(유니그램): 전체 문장을 한 단어씩 나누는 것 => "The / cat / sat / on / the / mat"- 2-gram(바이그램): 전체 문장을 두 단어씩 나누는 것 => "The cat / cat sat / sat on / on the / the mat"- 3-gram(트라이그램): 전체 문장을 세 단어씩 나누는 것 =>"The cat sat / cat sat on / sat on the / on the mat"- 한계: 가능한 모든 n-gram을 DB에 저장하고 있어야 하고, ..