용감해지고 싶은 쫄보의 도전기

1. 컴퓨터 구조- 제한된 환경에서 효율적으로 동작하는 프로그램을 만들어야 하기에 컴퓨터의 구조를 알아야 함- [CPU, 주기억장치(메모리)]-컴퓨터의 성능에 중요, 보조기억장치, 입출력장치 2. 언어- 기계어: 2진수- 어셈블리어: 기계어와 일대일로 대응되는 프로그래밍 언어, 어셈블리어를 기계어로 번역해주는 것이 어셈블러- 고급언어: 사람이 이해하기 쉽게 작성된 프로그래밍 언어, 고급언어를 어셈블리어로 번역해주는 것이 컴파일러- 컴퓨터는 트랜지스터(스위치)로 구성됨. 트랜지스터는 전기적 신호를 디지털 신호(0과1)로 변환하고 논리연산을 수행 1) C언어 코드 실행과정# C언어 코드 실행 과정1. 소스 코드 작성(.c)2. 전처리(#include, #define 같은 전처리 지시문 처리, 주석 제거 등)..

1. requests란?- Python에서 HTTP 요청을 쉽게 보낼 수 있도록 도와주는 라이브러리- 웹 페이지에서 데이터를 가져오거나 API와 통신할 때 사용 2. API란?- 프로그램 간 데이터를 주고받을 수 있도록 규칙을 정해놓은 인터페이스 3. 인터페이스란?- 서로 다른 시스템, 소프트웨어, 또는 하드웨어가 소통할 수 있도록 규칙을 정해놓은 것 4. HTTP 요청이란?- 클라이언트(사용자)가 서버(웹사이트, API)에 데이터를 요청하는 방식- GET, POST, PUT(PETCH-기존 것을 수정), DELETE* 자바스크립트 fetch는 어디서 가져오는 것 5. 크롤링이란?- 웹사이트에서 자동으로 데이터를 수집하는 과정- requests 등 6. 스크래핑이란?- 크롤링한 데이터에서 필요한 정보만 ..

1. robots.txt 설정- robots.txt 파일을 통해 크롤러의 접근을 차단* robots.txt는 웹사이트 루트 디렉토리에 위치하는 텍스트파일, - 하지만 robots.txt는 강제성이 없고, 직접 만든 python 크롤러(requests 등)들은 무시할 수 있다.User-agent: *Disallow: /admin/Disallow: /private/Allow: /public/2. HTTP 헤더 및 User-Agent 차단- 웹 서버에서 특정 User-Agent(봇 식별자)를 감지하고 차단- 예를 들어, scrapy, selenium, python-urllib과 같은 크롤링 관련 User-Agent를 차단 if ($http_user_agent ~* (Scrapy|Selenium|Python-u..

1. 기계어- 0과 1로 이루어진(2진수) 컴퓨터(CPU)가 별다른 해석(컴파일) 없이 읽을 수 있는 프로그래밍 언어- code 작성 → 인터프리터/컴파일러(기계어 번역) → 컴퓨터 인식- low level(기계와 더 가까운 언어, ↔ high level): 속도가 더 빠르지만, 작성이 어렵고 실수하기 쉽다 1) 인터프리터 (변환+실행)- 소스 코드를 한 줄씩 읽어가며 변환하고 즉시 실행하는 프로그램- Python은 인터프리터 언어이기 때문에 파이썬 코드를 실행하려면 인터프리터가 필요하다- Python에서 가장 많이 사용되는 인터프리터는 CPython이다.* CPython은 파이썬 소스 코드를 바이트코드로 컴파일한 후, 이 바이트 코드를 PVM(Python Virtural Machine)에서 실행 2) ..

1. 기존의 GPT의 한계1) 할루시네이션 - 잘못된 정보를 자신감 있게 제시2) 최신 정보 반영이 안됨 - 학습 데이터의 컷오프3) 도메인특화 - 고유 정보는 없음4) 지식의 불분명한 출처 2. RAG- 기존의 LLM 답변 생성하는 과정에 검색을 추가하여 답변에 참고할만한 정보를 제공 (문맥 제공) 1) Naive RAG: 검색-실행 [사전단계]-  Indexing: PDF, Word, Markdown 등에서 텍스트 데이터를 추출- Chunking: 작은 단위로 분할- Embedding: vector로 인코딩- database: 임베딩된 vector를 저장 [실행단계]- Retrieve: database에서 질문에 답변하기 위한 정보 검색- Generation: 검색된 정보를 문맥(Context)에 추..

1. Reasoning(추론)- 일반 모델(GPT-4o) : 질문 → 답- 추론 모델(GPT-O1): 질문 → 생각 → 답 1) 특징- 통계적 패턴에 기반해, 논리적으로 일관성 있는 응답을 생성하는 능력- 정답보다는 과정을 생성하는 능력- 대표적인  추론: Chain-of-Thought- LLM은 암산이 어렵다- Transformer 디코더 구조: 확률적인 단방향- Dependency가 앞에만 존재(순차적으로 생성하면서 생각을 구성하는 구조) 2) 어떻게 문제를 풀까? OpenAI-o1의 출력은 6개의 패턴으로 분류된다.- 전체적인 구조 파악- 알려진 문제 해결법 적용- 하위 문제 분할- 자체 평가와 수정- 추가 문맥 활용- 제약 조건 강조=> 6개의 능력을 발휘하려면 출력이 길어야 한다. 모델에게 생각..

1. ICT- 정보통신기술, Information and Communication Technology-  컴퓨터, 휴대폰 등을 활용하여 사람과 사람, 기계와 기계를 연결해주는 기술2. DX- 디지털 전환, Digital Transformation (=DT)- 기존의 비즈니스 모델과 업무 프로세스를 디지털화하는 경영 전략- 디지털 인프라를 구축 3. AX- AI Transformation- AI 기술을 사용하여 조직의 문화와 제품을 변화시키며, 나아가 산업 구조를 AI 중심으로 재구성하는 경영전략- 디지털 인프라 위에 AI를 활용해 비즈니스 전반을 지능화- 내부적: 업무 프로세스 개선- 대외적: AI를 활용해 제품/서비스 혁신 ※ 참고자료 : https://inblog.ai/letsur/ax%EC%97%9..

1. RAG 파이프라인의 구성1) 데이터 로드(Load Data)- 외부 데이터 소스에서 정보를 수집하고, 필요한 형식으로 변환하여 시스템에 로드- 공개 데이터셋, 웹 크롤링을 통해 얻은 데이터, 또는 사전에 정리된 자료from langchain_community.document_loaders import WebBaseLoader# 크롤링 하고 싶은 urlurl = 'https://wikidocs.net/231393'loader = WebBaseLoader(url)docs = loader.load()print(len(docs)) # 1print(len(docs[0].page_content)) # 15735print(docs[0].page_content) 2) 텍스트 분할(Text Split)- 불러온 데..