[딥러닝] 신경망 도식화, 가중치, 활성함수, 경사하강법, 역전파 알고리즘

1. 뉴럴 네트워크 도식화

* 역전파: 기울기 계산, 최적화: 기울기를 활용해 가중치 업데이트

 

 

2. 활성화 함수 (Optimization Algorithm)

- Activation Function, 신경망에서 입력값을 처리해 출력값을 변환하는 수학적 함수

- 모델이 복잡한 문제를 해결할 수 있도록 데이터를 비선형적으로 변환한다(예: 직선이 아닌 곡선 모양으로 예측가능)

- 활성화 함수가 없으면 layer가 있는 의미가 없기 때문에 중요하다

활성화함수	Sigmoid	Softmax	Tanh	ReLU	Leaky ReLU
공식
출력범위	0 ~ 1	0 ~ 1	-1 ~ 1	0 ~ 무한대	- 무한대~ 무한대
용도	출력층(이진분류)	출력층(다중분류)	은닉층(양수/음수)	은닉층(양수)	ReLU 대안(양/음) *α:작은양수(0.01)

 

3. 최적화 알고리즘

- 손실함수를 최소화 하기 위해 손실 함수의 기울기를 계산하고 가중치와 편향을 조정하는 방법

알고리즘	경사하강법	모멘텀	RMSProp	Adam
공식	η: 학습률	γ:관성 계수(보통 0.9)	gt​: 기울기의 제곱 이동 평균 ϵ: 작은 값(분모 0 방지)	mt​: 1차 모멘텀(평균 기울기) vt​: 2차 모멘텀(기울기 제곱 평균)
특징	1)SGD 확률적 경사하강법 (랜덤) 2)미니배치 경사하강법 (미니배치)	기울기의 변화량을 누적하여 빠르게 학습	최근의 기울기 변화를 더 많이 반영	모멘텀 + RMSprop

 

4. 손실함수

- 실제값과 예측값의 차이인 오차를 여러 방식으로 수치화 한 것

손실함수	MAE 평균절댓값오차	MSE 평균제곱오차	교차 엔트로피	KL발산
공식
용도	음수와 양수가 상쇄되는걸 방지하고 싶을때	큰 오차에 더 큰 패널티를 주고 싶을때	로그를 사용해 확률 (0~1)로 해석	확률분포를 비교할때 (생성모델/강화학습)

 

※ 참고자료 :  코딩애플(Tensorflow 딥러닝 기초부터 AI실무까지) https://codingapple.com/course/python-deep-learning/