[딥러닝] 언제 딥러닝이 필요할까?

시계열 팀프로젝트를 하면서 lstm이 기존 머신러닝 방법보다 성능이 훨씬 안좋은 적이 있었다.

딥러닝은 데이터의 수가 작을 경우 과적합이 발생한다고 한다.

 

1. 데이터 수가 적은 경우 딥러닝이 적합하지 않은 이유

1) 파라미터 수가 데이터 수를 초과

예) 변수가 16개인 데이터에서 LSTM 레이어(64 units)하나만으로도 수천 개의 파라미터를 가진다.

(4는 입력,망각,출력게이트, 셀상태업데이트의 입력에 대한 가중치)

- 입력크기가 16일때, 입력가중치 = 16*4*64=4096, 은닉상태 64*4*64=16384, 바이어스 4*64=256 총 20736

- Dense(64)의 경우 파라미터는 16*64+64=1088

만약, 데이터가 1000개 샘플이라면 모델은 데이터보다 더 많은 파라미터를 학습하려 한다.

=> 모델이 데이터를 오나벽히 외워버려 일반화 능력이 떨어진다 (과적합)

 

2) 노이즈까지 학습

- 데이터가 적을 경우 모델이 노이즈(무작위성)과 유의미한 패턴을 구분하지 못하고 둘 다 학습한다.

- 데이터가 많을 경우 노이즈는 무시되지만, 적을 경우 모델은 이를 중요한 특징으로 오해한다

- 머신러닝 모델은 사람이 설계한 특징을 사용하므로, 데이터를 효율적으로 학습한다.

 

2. 머신러닝과 딥러닝 사용 기준

머신러닝	딥러닝
데이터가 적고, 정형 데이터(엑셀 형태) 문제 구조가 간단하고, 빠른 예측이 필요 리소스(시간, GPU)가 제한적	데이터가 크고, 비정형 데이터(이미지, 텍스트, 음성) 문제 구조가 복잡하며, 비선형적 관계 학습이 중요 충분한 시간과 고성능 컴퓨팅 자원 사용 가능