[기술면접] 정규화(Regularization), Lasso(L1 규제), Ridge(L2 규제)

Q. 정규화를 왜 해야할까요? 정규화의 방법은 무엇이 있나요?

 

1. 정규화(Regularization)란?

- 모델의 과적합을 방지하기 위해 추가적인 제약(규제)를 부여하는 기법

- 과적합(Overfitting)이란? 모델이 훈련 데이터를 지나치게 학습해, 데이터의 일반적인 패턴을 학습하기 보다는, 그 안에 존재하는 우연한 잡음(noise)나 특이한 패턴까지 암기해버리는 상태

=> 실제 새로운 데이터에 대한 예측 성능이 떨어지기 때문에 이를 방지하기 위해 모델의 복잡도를 제어하거나 가중치를 제한함으로써 일반화 성능을 개선하는 것

 

2. 정규화의 방법

1) L1 정규화 (Lasso 정규화) : 가중치의 절댓값 합(L1 norm)을 비용 함수에 추가

- 가중치 벡터의 일부 요소를 완전히 0으로 만드는 특성 선택(Feature Selection)기능을 수행한다.

- 파라미터가 많이 제거되면 모델이 간결해져 해석이 용이해진다.

λ : 하이퍼파라미터

2) L2 정규화 (Ridge 정규화) : 가중치의 제곱 합(L2 norm)을 비용 함수에 추가
- 가중치를 적절히 축소하여 매우 큰 가중치가 생기는 것을 방지한다. 

 

※ 손실 함수(Loss Function)과 비용 함수(Cost Function)

- 손실함수: 개별 데이터 단위의 오차

- 비용함수: 전체 데이터 세트에 대한 평균 또는 합계 오차

 

3) Elastic Net : L1과 L2를 혼합한 정규화 방식

4) Early Stopping(조기 종료) : 학습 도중 검증 세트 성능이 약화될 때 훈련을 조기 종료

5) Dropout(딥러닝): 학습 중 일부 뉴런(노드) 출력을 무작위로 제거

6) Batch Normalization, Layer Normalization: 정규화 층(normalization layer)을 통한 안정적 학습.

7) Feature Scaling: 입력 특성의 스케일 조정(Min-max정규화, 표준화 등)

 

3. 하이퍼파라미터란?

- 모델 구조나 학습 프로세스를 결정하는 사용자가 사전에 설정하는 값

- 모델이 직접 데이터로부터 배우지 않고, 사람이 지정하거나 별도의 최적화 기법(그리드서치, 랜덤서치 등)을 통해 선택

- 학습률(learning rate), 정규화 계수(λ), 은닉층 개수, 노드 수, 드롭아웃 비율, 미니 배치 크기, 반복 횟수 등

 

4. 파라미터란?

- 모델이 데이터로부터 스스로 업데이트(예: 경사하강법)하며, 자동으로 학습되는 값

- 가중치와 편향 등