용감해지고 싶은 쫄보의 도전기

시계열 팀프로젝트를 하면서 lstm이 기존 머신러닝 방법보다 성능이 훨씬 안좋은 적이 있었다.딥러닝은 데이터의 수가 작을 경우 과적합이 발생한다고 한다. 1. 데이터 수가 적은 경우 딥러닝이 적합하지 않은 이유1) 파라미터 수가 데이터 수를 초과예) 변수가 16개인 데이터에서 LSTM 레이어(64 units)하나만으로도 수천 개의 파라미터를 가진다.(4는 입력,망각,출력게이트, 셀상태업데이트의 입력에 대한 가중치)- 입력크기가 16일때, 입력가중치 = 16*4*64=4096, 은닉상태 64*4*64=16384, 바이어스 4*64=256 총 20736- Dense(64)의 경우 파라미터는 16*64+64=1088만약, 데이터가 1000개 샘플이라면 모델은 데이터보다 더 많은 파라미터를 학습하려 한다.=> ..

1. 뉴럴 네트워크 도식화  2. 활성화 함수 (Optimization Algorithm)- Activation Function, 신경망에서 입력값을 처리해 출력값을 변환하는 수학적 함수- 모델이 복잡한 문제를 해결할 수 있도록 데이터를 비선형적으로 변환한다(예: 직선이 아닌 곡선 모양으로 예측가능)- 활성화 함수가 없으면 layer가 있는 의미가 없기 때문에 중요하다활성화함수SigmoidSoftmaxTanhReLULeaky ReLU공식출력범위0 ~ 10 ~ 1-1 ~ 10 ~ 무한대- 무한대~ 무한대용도출력층(이진분류)출력층(다중분류)은닉층(양수/음수)은닉층(양수)ReLU 대안(양/음)*α:작은양수(0.01) 3. 최적화 알고리즘- 손실함수를 최소화 하기 위해 손실 함수의 기울기를 계산하고 가중치와 편..

1. 중요 신경망 모델 발전 과정~1980s1980s 후반1997201420172017 + 기본 신경망 FFNN다층퍼셉트론 MLP순환 신경망 RNNLSTMGRUTransformerGPT단방향(입력층, 은닉층, 출력층)순환구조(은닉층 출력이 다시 입력으로)RNN 기울기 소실 문제 해결, 긴 시퀀스 학습 가능LSTM보다 간단어텐션 메커니증병렬처리순환없이도  긴 의존성 학습 가능transformer의 디코더 구조 기반자연처리 혁신회귀, 이진분류,다중클래스시계열 예측음성 인식텍스트 생성긴 시퀀스 처리기계 번역음악 생성시계열 예측텍스트 분석NLP시계열 예측텍스트 생성대화형 AI코드 생성고객이탈예측신용카드사기탐지주식 예측날씨 예측문장 번역장기적 주식 예측기계 고장 예측실시간 음성 인식기계 번역질문응답시스템문서 요약..

[작업1유형]  1. loc[:9] : 리스트의 인덱싱과 다르게 9째 인덱스 "포함" 2.  특정 행과 열의 자료 조회 및 새로운 값 저장: loc[행,'열이름'], iloc[행,열] 3. 데이터 프레임의 정렬을 바꿨다면, loc을 사용하기 전에 reset_index(drop=True)를 해줘야 한다. [작업 3유형]※ 문제: 데이터 마님 빅분기 실기 기출 2회 ( https://www.datamanim.com/dataset/practice/ex2.html ) 1. 이항분포란?- 다음 조건을 만족하는 실험에서 성공 횟수의 분포1) 조건- 실험의 결과가 두 가지(성공/실패)로 나뉨- 각 실험이 독립적(개별 남성의 치과 방문 여부 독립)- 성공 확률이 p로 일정- 실험 횟수가 고정 2) 확률 구하기- P(X..

1. PromptTemlate비교클래스설명PromptTemplate가장 기본적인 프롬프트ChatPromptTemplate대화형 프롬프트, 메시지 기반의 입력 처리FewShotPromptTemplate몇 가지 예시를 포함한 프롬프트, 문맥 제공 2. PromptTemplatefrom langchain.prompts import PromptTemplate# 템플릿 정의template = PromptTemplate( input_variables=["name", "task"], template="Hello {name}, can you help me with {task}?")# 템플릿 사용output = template.format(name="Alice", task="coding")print(outpu..

1. 구현 방법 비교ConversationBufferMemoryRunnableWithMessageHistory대화 히스토리를 내부적으로 저장하는 메모리 객체대화 히스토리를 외부 데이터베이스 또는 메모리 저장소에서 단일 사용자가 지속적인 대화를 할때여러 사용자의 대화 세션을 관리해야 할 때대화 히스토리를 외부 데이터베이스에 저장할 필요가 없을때대화 히스토리를 외부 데이터 베이스나 클라우드에 저장할 때간단한 대화형 애플리케이션에서 빠르게 시작하고 싶을 때특정 세션별로 독립적인 히스토리가 필요할 때 2. ConversationBufferMemroy의 사용자별 메모리 분리from langchain.memory import ConversationBufferMemory# 사용자별 메모리 저장소user_memory_..

- Example where the wrapped Runnable takes a dictionary input:https://python.langchain.com/v0.2/api_reference/core/runnables/langchain_core.runnables.history.RunnableWithMessageHistory.html from typing import Optionalfrom langchain_community.chat_models import ChatAnthropicfrom langchain_core.prompts import ChatPromptTemplate, MessagesPlaceholderfrom langchain_core.runnables.history import Runna..

- ConversationCahin이 최신 langchain 버전에서는 지원하지 않아 대체 코드를 찾기 위해 공식 문서를 찾아보았다.- 공식 문서의 예제 코드를 이해하려고 하니 class개념이 부족해 개념을 먼저 학습하였다 : https://bravesol.tistory.com/181 - langchain 라이브러리 공식 문서 :https://python.langchain.com/v0.2/api_reference/core/runnables/langchain_core.runnables.history.RunnableWithMessageHistory.htmlfrom operator import itemgetterfrom typing import Listfrom langchain_openai.chat_model..