용감해지고 싶은 쫄보의 도전기

Q. 정규화를 왜 해야할까요? 정규화의 방법은 무엇이 있나요? 1. 정규화(Regularization)란?- 모델의 과적합을 방지하기 위해 추가적인 제약(규제)를 부여하는 기법- 과적합(Overfitting)이란? 모델이 훈련 데이터를 지나치게 학습해, 데이터의 일반적인 패턴을 학습하기 보다는, 그 안에 존재하는 우연한 잡음(noise)나 특이한 패턴까지 암기해버리는 상태=> 실제 새로운 데이터에 대한 예측 성능이 떨어지기 때문에 이를 방지하기 위해 모델의 복잡도를 제어하거나 가중치를 제한함으로써 일반화 성능을 개선하는 것 2. 정규화의 방법1) L1 정규화 (Lasso 정규화) : 가중치의 절댓값 합(L1 norm)을 비용 함수에 추가- 가중치 벡터의 일부 요소를 완전히 0으로 만드는 특성 선택(Fea..

1. 오차와 편향오차(Error)편향(Bias)관측값(실제값)과 모델 예측값의 차이모델 예측값이 체계적으로 실제값보다 특정 방향으로 치우쳐 있는 정도 개별 예측 결과에서 발생하는 불규칙한 차이 노이즈에 의해 발생하는 경우가 많다샘플을 많이 늘려도 사라지지 않는 체계적인 오차 경향모델이 일관되게 결과를 높게/낮게 추정하는 경향모델의 가정이나 구조, 알고리즘 특성, 학습 과정 등으로 인해 생기는 시스템적인 오차모델 성능을 정량적으로 평가(MSE, MAE 등)할 때 사용모델 튜닝 과정에서 특정 하이퍼파라미터 설정 시 모델이 얼마나 정확한 결과를 내는지 비교할 때 활용모델이 전반적으로 한쪽 방향으로 치우쳐예측하는 경향이 있는지 살펴볼 때 사용 2. 편향과 분산 : 트레이드오프 관계(최적의 복잡도를 갖는 모델을 ..