용감해지고 싶은 쫄보의 도전기

1. 뉴럴 네트워크 도식화  2. 활성화 함수 (Optimization Algorithm)- Activation Function, 신경망에서 입력값을 처리해 출력값을 변환하는 수학적 함수- 모델이 복잡한 문제를 해결할 수 있도록 데이터를 비선형적으로 변환한다(예: 직선이 아닌 곡선 모양으로 예측가능)- 활성화 함수가 없으면 layer가 있는 의미가 없기 때문에 중요하다활성화함수SigmoidSoftmaxTanhReLULeaky ReLU공식출력범위0 ~ 10 ~ 1-1 ~ 10 ~ 무한대- 무한대~ 무한대용도출력층(이진분류)출력층(다중분류)은닉층(양수/음수)은닉층(양수)ReLU 대안(양/음)*α:작은양수(0.01) 3. 최적화 알고리즘- 손실함수를 최소화 하기 위해 손실 함수의 기울기를 계산하고 가중치와 편..

1. 중요 신경망 모델 발전 과정~1980s1980s 후반1997201420172017 + 기본 신경망 FFNN다층퍼셉트론 MLP순환 신경망 RNNLSTMGRUTransformerGPT단방향(입력층, 은닉층, 출력층)순환구조(은닉층 출력이 다시 입력으로)RNN 기울기 소실 문제 해결, 긴 시퀀스 학습 가능LSTM보다 간단어텐션 메커니증병렬처리순환없이도  긴 의존성 학습 가능transformer의 디코더 구조 기반자연처리 혁신회귀, 이진분류,다중클래스시계열 예측음성 인식텍스트 생성긴 시퀀스 처리기계 번역음악 생성시계열 예측텍스트 분석NLP시계열 예측텍스트 생성대화형 AI코드 생성고객이탈예측신용카드사기탐지주식 예측날씨 예측문장 번역장기적 주식 예측기계 고장 예측실시간 음성 인식기계 번역질문응답시스템문서 요약..

1. 신경망- Neural Network, 생물학적 뉴런의 동작을 모방하여 데이터 간의 관계를 학습- 뉴런의 기본 동작 - z를 활성화 함수에 전달하여 뉴런이 활성화될지 여부를 결정 1) 입력층(Input Layer)- 입력 데이터를 받아들이는 계층, 각 특징(feature)이 뉴런 하나에 대응- 이미지 데이터 64*64 크기의 입력층 뉴런 갯수 = 64*64- 활성화 함수는 사용하지 않는다 2) 은닉층(Hidden Layers)- 입력 데이터를 처리하고, 패턴이나 특징을 학습- 은닉층의 갯수와 뉴련 수는 문제의 복잡도에 따라 결정된다.- 하나 이상의 은닉층을 포함하며, 층이 많아질수록 딥러닝이 된다.- 활성화 함수 사용하여 복잡한 패턴을 학습: tanh, ReLU- 과적합 방지를 위해 규제(Regula..