용감해지고 싶은 쫄보의 도전기

1. OOM- Out ouf Memory- 왜/어디서 발생했는지 알기 어려움/ Error Backtracking이 이상한데로감 / 메모리의 이전 상황의 파악이 어려움- 이터레이션을 돌면서 문제가 생기는 경우가 많다 2. 해결방안1) batch size를 줄이기→ GPU clean → Run  2) GPU Util 사용하기- nvidia-smi처럼 GPU의 상태를 보여주는 모듈- Colab은 환경에서 GPU 상태 보여주기 편함- iter마다 메모리가 늘어나는지 확인!!!pip install GPUtilimport GPUtilGPUtil.showUtilization() 3) 사용되지 않은 GPU상 cache를 정리torch.cuda.empty_cache()- 가용 메모리를 확보- del 과는 구분이 필요- ..

1. 데이터 분할train datavalidation datatest data모델 학습X_train : input featurey_train : labelepoch 마다 성능 평가→ 모델 개선에 사용모델 학습 후 최종 평가 2. train_data => 배치 사이즈로 분할 : DataLoader- 학습 데이터가 매우 큰 경우, 시간이 오래 걸리고 메모리도 부족하고, 모든 데이터의 gradient를 한번에 계산하기 어렵다- 데이터 행을 쪼개 일부만 먼저 넣어 성능을 평가하고 가중치를 업데이트 시키고, 또 일부 행을 입력하고 반복 1) 텐서 정의- 일반적으로 1차원 데이터를 벡터, 2차원 데이터를 행렬, 3차원 데이터를 텐서라고 말하지만,파이토치에서는 차원에 관계 없이 입력과 출력, 학습에 필요한 모든 데이..

0. Computational Graph- 연산 과정을 그래프로 표현하여 수학적 계산을 효율적이고 체계적으로 수행할 수 있도록 돕는 도구 1. Tensorflow와 Keras- 배포와 안정성이 중요한 프로덕션 환경에 적합 (모바일 애플리케이션, 클라우드 배포, IoT 디바이스 등)- 대규모 데이터 처리에 강점, Google지원으로 장기 지원과 생태계 제공- Define and Run : 그래프를 먼저 정의하고, 실행 시점에 데이터를 feed(넣어줌)1) Tensorflow- 대규모 배포와 클라우드 지원- 배포 및 프로덕션 친화적- Google 생태계와의 통합- 초기에 정적 그래프로 디버깅이 어려웠으나 현재는 동적 그래프도 지원2) Keras- 초기에 독립적인 라이브러리로 시작했지만, tensorflow ..