용감해지고 싶은 쫄보의 도전기

- ConversationCahin이 최신 langchain 버전에서는 지원하지 않아 대체 코드를 찾기 위해 공식 문서를 찾아보았다.- 공식 문서의 예제 코드를 이해하려고 하니 class개념이 부족해 개념을 먼저 학습하였다 : https://bravesol.tistory.com/181 - langchain 라이브러리 공식 문서 :https://python.langchain.com/v0.2/api_reference/core/runnables/langchain_core.runnables.history.RunnableWithMessageHistory.htmlfrom operator import itemgetterfrom typing import Listfrom langchain_openai.chat_model..

1. Agent란?- 사용자가 질문이나 요청을 이해하고 문제 해결을 위한 행동 계획을 수립한다.- 작업을 단계별로 나누고 필요한 도구를 동적으로 호출하여 문제를 해결한다. - 도구 호출 결과를 다시 분석하고, 목표 달성을 위해 추가 행동을 계획 2. Tool이란?- Agent가 계획을 실행하기 위해 호출하는 실제 기능- Tool list: https://python.langchain.com/docs/integrations/tools/- 제한 없는 무료 tool 정리categoryToolToolkit특징SearchBrave SearchURL, Snippet, Title을 returnDuckDuckgoSearchURL, Snippet, Title을 returnGoogle SerperURL, Snippet, ..

1. 갑자기 노트북에 bluetooth 아이콘이 사라졌다면?  윈도우 시스템 종료열린 창 모두 닫기 > window + R 키 > shutdown -s -t 0

1. MySQL이란?- 관계형 데이터베이스로서 데이터를 구조적으로 저장하고 관리하기 위해 사용(속도, 신뢰성)- SQL: Structured Query Language- 관계형 데이터베이스 관리 시스템(RDBMS) 비교OracleMySQLPostgreSQL- 유료- 대규모 트랜잭션에 최적화- 높은 학습 곡선- 금융, 대규모 ERP, 복잡한 트랜잭션 등- 무료(커뮤니티 버전)- 읽기 작업에 특화, 중소규모에 적합- 상대적으로 쉬움- 중소규모 웹앱, 전자상거래, 블로그 등- 무료- 대규모 데이터 및 트랜잭션에 강점- 중간 수준- 데이터 분석 플랫폼, 복잡한 쿼리,JSON/NoSQL과 관계형 데이터를 함께 사용 2. Python과 MySQL의 연동하면 좋은 점- python을 통해 데이터를 가져와 복잡한 데이..

1. 크롤링이란?- 웹에서 정보를 수집하는 기술-  쇼핑몰의 가격 정보를 크롤링하여 경쟁사 분석, 뉴스 기사나 학술 정보를 크롤링하여 데이터 분석 등에 사용 2. 사용법- 무한 스크롤의 경우 구글 크롬 검사(개발자모드) > Network 탭을 열고, 스크롤을 내린뒤 나오는 글 중 특정 글자를 filter에서 검색하고 클릭한다. 그 다음 header 탭을 클릭하면 Request URL:에 URL주소를 알려준다. 해당 url로 get요청을 하면 selenium으로 스크롤을 내리거나 할 필요 없이 json이나 beautifulsoup로도 간단하게 크롤링을 할 수 있다. 1) 데이터가 json 형식으로 생긴 경우import requestsimport jsonpage = requests.get("크롤링 하고 싶은..

1. 과거와 현재를 비교해야 할 때(콜센터 등)- KT AICC https://www.kt-aicc.com/user/index 2. 제공된 데이터로 개인화된 맞춤 추천(콘텐츠 간의 유사도가 아닌, 검색 결과를 활용해 답변 및 이미지 생성)- 신세계라이브쇼핑: chatGPT 기반 상품 추천, 상품 문의 내용 분석 및 최적화 정보 제공 3. 사용자와의 질의 내용과 함께 사용자 정보를 조회하여 보험료와 가입 조건을 결정- 교보생명 4. 코드 생성 및 리뷰- 데이터 분석, 머신러닝 모델 생성 등 5. 오피스 프로그램- MS에서 word파일을 주면 내용을 읽고, PPT 기획을 구성한 뒤 PPT를 만들고 발표 대본까지 만들어 준다.

1. 린 스타트업- Lean Startup, 효율적인 실험과 검증을 통해 제품을 개발하는 것- 낭비를 줄이고, 사용자의 피드백을 활용해 시장 적합성을 찾고자 함- 주요 키워드1) MVP: 초기 아이디어를 빠르게 테스트하기 위해 가장 작은 규모의 제품을 출시2) 아이디어를 빠르게 "실행"하고, 데이터를 기반으로 성과를 "측정"하며, 이를 통해 "학습"하는 반복적인 사이클3) 시장에서 실제로 제품이 유효한지 데이터를 통해 검증 2. MVP란?- Minimum Viable Product의 약자로, 최소 기능 제품을 의미한다.- 제품 개발 과정에서 최소한의 핵심 기능만을 포함한 상태로, 사용자에게 출시하는 초기 버전을 가리킨다.- 목적1) 검증: 제품 아이디어가 시장에서 유효한지 테스트 하기 위해2) 피드백 수..

1. RAG란?- Retrieval-Augmented Generation의 약자로, 텍스트 생성 모델과 정보 검색 시스템을 결합한 AI 기술- 정보 검색(Retrieval)과 생성( Generation)의 단계로 나뉜다.- 데이터베이스 사용 외에도 외부 api를 활용해 "검색"한 결과를 LLM에 전달하고 답을 "생성"하면 RAG라고 할 수 있다. 2. RAG 구현시 사용한 라이브러리# 파일 읽어오기from langchain.document_loaders import TextLoader # 텍스트 파일from PyPDF2 import PdfReader # PDF 파일# 문서를 청크로 분할from langchain.text_splitter import RecursiveCharacterTextSplitte..