용감해지고 싶은 쫄보의 도전기

1. RAG 파이프라인의 구성1) 데이터 로드(Load Data)- 외부 데이터 소스에서 정보를 수집하고, 필요한 형식으로 변환하여 시스템에 로드- 공개 데이터셋, 웹 크롤링을 통해 얻은 데이터, 또는 사전에 정리된 자료from langchain_community.document_loaders import WebBaseLoader# 크롤링 하고 싶은 urlurl = 'https://wikidocs.net/231393'loader = WebBaseLoader(url)docs = loader.load()print(len(docs)) # 1print(len(docs[0].page_content)) # 15735print(docs[0].page_content) 2) 텍스트 분할(Text Split)- 불러온 데..

- ConversationCahin이 최신 langchain 버전에서는 지원하지 않아 대체 코드를 찾기 위해 공식 문서를 찾아보았다.- 공식 문서의 예제 코드를 이해하려고 하니 class개념이 부족해 개념을 먼저 학습하였다 : https://bravesol.tistory.com/181 - langchain 라이브러리 공식 문서 :https://python.langchain.com/v0.2/api_reference/core/runnables/langchain_core.runnables.history.RunnableWithMessageHistory.htmlfrom operator import itemgetterfrom typing import Listfrom langchain_openai.chat_model..

1. API연결# API 연결import osos.environ["OPENAI_API_KEY"] = "sk로 시작하는 자기 API Key 입력"  2. llm에 입력할 템플릿 작성# 템플릿 작성from langchain import PromptTemplatetemplate = "서울에서 프렌차이즈점이 아닌 유명한 {food} 맛집 세 곳 추천해줘"prompt = PromptTemplate( input_variables=["food"], template=template) 3. llm 생성# 모델 생성from langchain.chat_models import ChatOpenAIllm = ChatOpenAI(temperature=0, model='gpt-4') 4. 모델에 전달 및 예측 결과 반환..