용감해지고 싶은 쫄보의 도전기

1. 에이전트란?- 목표를 달성(문제를 해결)하기 위해 흐름을 판단하고 행동하는 llm- 예: 질문에 답하는  QA에이전트, 데이터 검색 에이전트, 계산 에이전트 등 2. 라우터란?- 사용자 입력(또는 특정 조건)을 분석하여, 어떤 에이전트가 작업을 가장 잘 수행할지 결정하는 역할 3. llm 에이전트의 구성 요소1) Memory - 단기 기억, 장기기억2) Tools-  캘린더, 계산기, 코드인터프리터, 검색 등3) Action - 도구를 활용해 수행4) Planning -- Reflection : (자기반영) 결과를 되돌아보고 학습, 개선점을 탐구하거나 학습을 위한 통찰을 얻음- Self-critics : (자기비판) 오류를 인식하고 즉시 수정, 모델의 신뢰성을 높이는데 초점 - chain of Th..

- Example where the wrapped Runnable takes a dictionary input:https://python.langchain.com/v0.2/api_reference/core/runnables/langchain_core.runnables.history.RunnableWithMessageHistory.html from typing import Optionalfrom langchain_community.chat_models import ChatAnthropicfrom langchain_core.prompts import ChatPromptTemplate, MessagesPlaceholderfrom langchain_core.runnables.history import Runna..

- ConversationCahin이 최신 langchain 버전에서는 지원하지 않아 대체 코드를 찾기 위해 공식 문서를 찾아보았다.- 공식 문서의 예제 코드를 이해하려고 하니 class개념이 부족해 개념을 먼저 학습하였다 : https://bravesol.tistory.com/181 - langchain 라이브러리 공식 문서 :https://python.langchain.com/v0.2/api_reference/core/runnables/langchain_core.runnables.history.RunnableWithMessageHistory.htmlfrom operator import itemgetterfrom typing import Listfrom langchain_openai.chat_model..

1. 과거와 현재를 비교해야 할 때(콜센터 등)- KT AICC https://www.kt-aicc.com/user/index 2. 제공된 데이터로 개인화된 맞춤 추천(콘텐츠 간의 유사도가 아닌, 검색 결과를 활용해 답변 및 이미지 생성)- 신세계라이브쇼핑: chatGPT 기반 상품 추천, 상품 문의 내용 분석 및 최적화 정보 제공 3. 사용자와의 질의 내용과 함께 사용자 정보를 조회하여 보험료와 가입 조건을 결정- 교보생명 4. 코드 생성 및 리뷰- 데이터 분석, 머신러닝 모델 생성 등 5. 오피스 프로그램- MS에서 word파일을 주면 내용을 읽고, PPT 기획을 구성한 뒤 PPT를 만들고 발표 대본까지 만들어 준다.

1. RAG란?- Retrieval-Augmented Generation의 약자로, 텍스트 생성 모델과 정보 검색 시스템을 결합한 AI 기술- 정보 검색(Retrieval)과 생성( Generation)의 단계로 나뉜다.- 데이터베이스 사용 외에도 외부 api를 활용해 "검색"한 결과를 LLM에 전달하고 답을 "생성"하면 RAG라고 할 수 있다. 2. RAG 구현시 사용한 라이브러리# 파일 읽어오기from langchain.document_loaders import TextLoader # 텍스트 파일from PyPDF2 import PdfReader # PDF 파일# 문서를 청크로 분할from langchain.text_splitter import RecursiveCharacterTextSplitte..

1. API연결# API 연결import osos.environ["OPENAI_API_KEY"] = "sk로 시작하는 자기 API Key 입력"  2. llm에 입력할 템플릿 작성# 템플릿 작성from langchain import PromptTemplatetemplate = "서울에서 프렌차이즈점이 아닌 유명한 {food} 맛집 세 곳 추천해줘"prompt = PromptTemplate( input_variables=["food"], template=template) 3. llm 생성# 모델 생성from langchain.chat_models import ChatOpenAIllm = ChatOpenAI(temperature=0, model='gpt-4') 4. 모델에 전달 및 예측 결과 반환..

1. RAG란?- Retrieval-Augmented Cegeration1) 정보 검색(Retrieval): LLM이 텍스트를 생성할 때 관련 정보를 찾아 보고2) 텍스트 생성(Generation) 그 정보를 활용하여 새로운 텍스트를 만드는 기술 2. 정보 검색1) 질문/키워드 입력(쿼리)2) 해당 쿼리와 관련된 정보를 DB나 인터넷에서 찾음3) 유사도 검색: 검색 엔진이 쿼리와 DB에 있는 문서들 사이의 유사도를 계산- 키워드 검색: 사용자가 입력한 단어나 구를 DB나 인터넷에서 직접 찾는 방식- 시맨틱 검색: 단어의 의미와 문맥을 이해하여 보다 관련성 높은 결과를 제공하는 기술 4) 랭킹처리: 검색 결과를 가장 관련이 높다고 판단되는 문서부터 순서대로 나열- 유사도 계산: 문서나 단어 사이의 관련성이..

1. 언어모델(Large Model)이란?1) 확률/통계적 방법 (n-gram)- 예시: 나는 오늘 점심에 뒤에 "피자를 먹었다" 가 나왔다는 것 => 과거에 "점심에" 뒤에 "피자"가 많이 나왔기 때문- 1-gram(유니그램): 전체 문장을 한 단어씩 나누는 것 => "The / cat / sat / on / the / mat"- 2-gram(바이그램): 전체 문장을 두 단어씩 나누는 것 => "The cat / cat sat / sat on / on the / the mat"- 3-gram(트라이그램): 전체 문장을 세 단어씩 나누는 것 =>"The cat sat / cat sat on / sat on the / on the mat"- 한계: 가능한 모든 n-gram을 DB에 저장하고 있어야 하고, ..