용감해지고 싶은 쫄보의 도전기

1. 미니포지란?- conda : 패키지/가상환경 관리도구(명령어) - anaconda: conda + python + 데이터 과학관련 수백개 패키지 포함 배포판 - miniconda: conda + python만 있는 최소한의 anaconda => 기본 채널은 defaults, 상업적으로 사용시 유료- miniforge: miniconda와 같은데, 기본 채널이 conda-forge, 상업 제한 없음- defaults: Anaconda,Inc의 상업 채널, conda install 로 패키지 설치시 해당 채널에서 가져옴- conda-forege : conda 패키지를 위한 커뮤니티 채널(공개적으로 빌드, 배포, 유지보수)* 파이썬 내장 가상환경 도구 venv는 DS/AI 패키지 설치시 문제가 많아 co..

1. requests란?- Python에서 HTTP 요청을 쉽게 보낼 수 있도록 도와주는 라이브러리- 웹 페이지에서 데이터를 가져오거나 API와 통신할 때 사용 2. API란?- 프로그램 간 데이터를 주고받을 수 있도록 규칙을 정해놓은 인터페이스 3. 인터페이스란?- 서로 다른 시스템, 소프트웨어, 또는 하드웨어가 소통할 수 있도록 규칙을 정해놓은 것 4. HTTP 요청이란?- 클라이언트(사용자)가 서버(웹사이트, API)에 데이터를 요청하는 방식- GET, POST, PUT(PETCH-기존 것을 수정), DELETE* 자바스크립트 fetch는 어디서 가져오는 것 5. 크롤링이란?- 웹사이트에서 자동으로 데이터를 수집하는 과정- requests 등 6. 스크래핑이란?- 크롤링한 데이터에서 필요한 정보만 ..

1. robots.txt 설정- robots.txt 파일을 통해 크롤러의 접근을 차단* robots.txt는 웹사이트 루트 디렉토리에 위치하는 텍스트파일, - 하지만 robots.txt는 강제성이 없고, 직접 만든 python 크롤러(requests 등)들은 무시할 수 있다.User-agent: *Disallow: /admin/Disallow: /private/Allow: /public/2. HTTP 헤더 및 User-Agent 차단- 웹 서버에서 특정 User-Agent(봇 식별자)를 감지하고 차단- 예를 들어, scrapy, selenium, python-urllib과 같은 크롤링 관련 User-Agent를 차단 if ($http_user_agent ~* (Scrapy|Selenium|Python-u..

1. 기존의 GPT의 한계1) 할루시네이션 - 잘못된 정보를 자신감 있게 제시2) 최신 정보 반영이 안됨 - 학습 데이터의 컷오프3) 도메인특화 - 고유 정보는 없음4) 지식의 불분명한 출처 2. RAG- 기존의 LLM 답변 생성하는 과정에 검색을 추가하여 답변에 참고할만한 정보를 제공 (문맥 제공) 1) Naive RAG: 검색-실행 [사전단계]-  Indexing: PDF, Word, Markdown 등에서 텍스트 데이터를 추출- Chunking: 작은 단위로 분할- Embedding: vector로 인코딩- database: 임베딩된 vector를 저장 [실행단계]- Retrieve: database에서 질문에 답변하기 위한 정보 검색- Generation: 검색된 정보를 문맥(Context)에 추..

1. Reasoning(추론)- 일반 모델(GPT-4o) : 질문 → 답- 추론 모델(GPT-O1): 질문 → 생각 → 답 1) 특징- 통계적 패턴에 기반해, 논리적으로 일관성 있는 응답을 생성하는 능력- 정답보다는 과정을 생성하는 능력- 대표적인  추론: Chain-of-Thought- LLM은 암산이 어렵다- Transformer 디코더 구조: 확률적인 단방향- Dependency가 앞에만 존재(순차적으로 생성하면서 생각을 구성하는 구조) 2) 어떻게 문제를 풀까? OpenAI-o1의 출력은 6개의 패턴으로 분류된다.- 전체적인 구조 파악- 알려진 문제 해결법 적용- 하위 문제 분할- 자체 평가와 수정- 추가 문맥 활용- 제약 조건 강조=> 6개의 능력을 발휘하려면 출력이 길어야 한다. 모델에게 생각..

1. RAG 파이프라인의 구성1) 데이터 로드(Load Data)- 외부 데이터 소스에서 정보를 수집하고, 필요한 형식으로 변환하여 시스템에 로드- 공개 데이터셋, 웹 크롤링을 통해 얻은 데이터, 또는 사전에 정리된 자료from langchain_community.document_loaders import WebBaseLoader# 크롤링 하고 싶은 urlurl = 'https://wikidocs.net/231393'loader = WebBaseLoader(url)docs = loader.load()print(len(docs)) # 1print(len(docs[0].page_content)) # 15735print(docs[0].page_content) 2) 텍스트 분할(Text Split)- 불러온 데..

- 프론트엔드, 백엔드, 에이전트 개발자가 잘 소통하기 위해서는 데이터의 특성과 쿠버네티스의 특성을 잘 알아야 함=> 데이터는 어떤 구조를 가져야 할까? 사용자 환경에서 어떤 데이터와 지표를 수집해야 할까?- 쿠버네티스 옵저빌리티: https://youtu.be/AVn8F6ki68U?si=yFa1pbN1CfGcvM2w- 컨테이너, 도커, 쿠버네티스 : https://youtu.be/eRfHp16qJq8?si=hmCxpdwRRVlCSw5l- K8s 도입하면서 겪은 일들: https://youtu.be/JBGsqsoGxEo?si=YSPOR0J5GVxSgY2c 1. Contrainer : 서버의 한 종류* 서버: 프로그램(소프트웨어)가 실행되는 하드웨어- 컨테이너를 사용하면 한 대의 서버에서 여러 개의 소프트..

1. AI 에이전트란?- 사용자의 의도를 깊이 이해하고, 어떤 작업을 수행해야 하는지 자율적으로 결정하고 여러 도구를 조합해 반복 실행- 도구 호출을 통해 부족한 정보를 보완하고, 얻은 정보를 토대로 다음 행동을 결정하는 반복적 추론 과정을 거친다.- 동작 원리 : 지각 - 사고 - 행동의 사이클을 반복- AI가 도구를 사용, 멀티 모달(정확도), 자율성(검색, 계획 등), 멀티 에이전트가 협동하여 일을 처리- intent api * AI 에이전트의 3가지 특징1) 자율 실행: 주어진 목표를 완수하기 위해 자율적으로 계획 수립 및 이해2) 조합 실행: 웹 검색이나 외부 API 등 도구 조합, 활용하여 작업 수행3) 재귀 실행: 작업을 반복적으로 평가하고 수정하여 최적의 결과를 도출   2. 멀티 에이전트..