[기술면접] 오차(Error)와 편향(Bias), 분산(Variance), 정규화(Regularization)

1. 오차와 편향

오차(Error)	편향(Bias)
관측값(실제값)과 모델 예측값의 차이	모델 예측값이 체계적으로 실제값보다 특정 방향으로 치우쳐 있는 정도
개별 예측 결과에서 발생하는 불규칙한 차이 노이즈에 의해 발생하는 경우가 많다	샘플을 많이 늘려도 사라지지 않는 체계적인 오차 경향 모델이 일관되게 결과를 높게/낮게 추정하는 경향 모델의 가정이나 구조, 알고리즘 특성, 학습 과정 등으로 인해 생기는 시스템적인 오차
모델 성능을 정량적으로 평가(MSE, MAE 등)할 때 사용 모델 튜닝 과정에서 특정 하이퍼파라미터 설정 시 모델이  얼마나 정확한 결과를 내는지 비교할 때 활용	모델이 전반적으로 한쪽 방향으로 치우쳐 예측하는 경향이 있는지 살펴볼 때 사용

 

2. 편향과 분산 : 트레이드오프 관계(최적의 복잡도를 갖는 모델을 찾는 과정)

- 모델이 복잡해짐 → 데이터 패턴을 잘 따름 → 편향이 낮아짐 → 분산이 커짐

- 모델이 단순해짐 → 훈련 데이터 일반화  → 분산이 낮아짐  → 편향이 커짐

※ 트레이드 오프 관리 : 정규화(Regularizeation) 

=> 정규화(Regularizeation)란? : 모델 복잡도를 적절히 제어함으로써 트레이드 오프를 관리 (Lasso, Ridge 등)

	분산(Variance)
모델이 얼마나 치우친(bias)게 데이터를 해석하는가	모델이 훈련 데이터에 얼마나 민감하게 예측하는가 새로운 데이터에 대한 예측 변화 폭
편향이 큰 모델: 특정 방향으로 치우쳐 단순한 가정 하에 예측  => 데이터 패턴을 제대로 반영하지 X => 과소적합 => 모델이 충분한 복잡성을 갖추지 X => 모델이 데이터의 패턴을 제대로 설명하지 못함	분산이 큰 모델: 특정 학습 데이터에 과도하게 맞춰져 있어, 학습 세트가 조금만 바뀌어도 예측 결과가 크게 흔들린다 => 과대적합 => 모델의 일반화 능력이 떨어져 새로운 데이터에 대한 예측 오차가 커진다.

 

※ 트레이드 오프 관리 : 정규화(Regularizeation) 

=> 정규화(Regularizeation)란? : 모델 복잡도를 적절히 제어함으로써 트레이드 오프를 관리 (Lasso, Ridge 등)

- 과적합(훈련 데이터에만 특화된 매우 복잡한 모델 , 분산이 큰 모델)을 방지하기 위해 모델의 복잡도를 제어하는 기법

- 회귀 분석의 경우, 모델 파라미터(회귀계수)의 크기를 억제하는 규제항을 비용함수에 추가한다.

- Lasso(L1 정규화- 파라미너 절대값 합), Ridge(L2정규화- 파마미터의 제곱합), 

- 파라미터 크기에 패널티를 주면, 모델이 불필요하게 복잡한 패턴을 쫒지 않게 된다.

- 약간의 편향을 감수하더라도 새로운 데이터에 대해 예측 오류를 줄여 일반화 성능을 높이는 것이 중요한 경우가 많다