용감해지고 싶은 쫄보의 도전기

1. 스크린 샷과 코드를 볼 수 있는 사이트https://paperswithcode.com/ Papers with Code - The latest in Machine LearningPapers With Code highlights trending Machine Learning research and the code to implement it.paperswithcode.com 2. 모델을 쉽게 다운로드 받을 수 있다https://modelzoo.co/#google_vignette https://modelzoo.co/#google_vignette modelzoo.co 3. 논문만 찾고 싶은 경우https://arxiv.org/ arXiv.org e-Print archiveChange to arXiv's p..

1. OOM- Out ouf Memory- 왜/어디서 발생했는지 알기 어려움/ Error Backtracking이 이상한데로감 / 메모리의 이전 상황의 파악이 어려움- 이터레이션을 돌면서 문제가 생기는 경우가 많다 2. 해결방안1) batch size를 줄이기→ GPU clean → Run  2) GPU Util 사용하기- nvidia-smi처럼 GPU의 상태를 보여주는 모듈- Colab은 환경에서 GPU 상태 보여주기 편함- iter마다 메모리가 늘어나는지 확인!!!pip install GPUtilimport GPUtilGPUtil.showUtilization() 3) 사용되지 않은 GPU상 cache를 정리torch.cuda.empty_cache()- 가용 메모리를 확보- del 과는 구분이 필요- ..

1. 순서데이터셋 → 배치로 분할 → 모델 생성 → 학습 및 가중치 최적화 2. baselineimport torchfrom torch import nn# 데이터 정의x_train = torch.Tensor([1,2,3,4,5,6]).view(6,1)y_train = torch.Tensor([3,4,5,6,7,8]).view(6,1)# Dataset/DataLoader 데이터 정의from torch.utils.data import TensorDatasetfrom torch.utils.data import DataLoaderdataset = TensorDataset(X_train, y_train)dataloader = DataLoader(dataset, batch_size32, shuffle=True)# ..

1. 데이터 분할train datavalidation datatest data모델 학습X_train : input featurey_train : labelepoch 마다 성능 평가→ 모델 개선에 사용모델 학습 후 최종 평가 2. train_data => 배치 사이즈로 분할 : DataLoader- 학습 데이터가 매우 큰 경우, 시간이 오래 걸리고 메모리도 부족하고, 모든 데이터의 gradient를 한번에 계산하기 어렵다- 데이터 행을 쪼개 일부만 먼저 넣어 성능을 평가하고 가중치를 업데이트 시키고, 또 일부 행을 입력하고 반복 1) 텐서 정의- 일반적으로 1차원 데이터를 벡터, 2차원 데이터를 행렬, 3차원 데이터를 텐서라고 말하지만,파이토치에서는 차원에 관계 없이 입력과 출력, 학습에 필요한 모든 데이..

0. Computational Graph- 연산 과정을 그래프로 표현하여 수학적 계산을 효율적이고 체계적으로 수행할 수 있도록 돕는 도구 1. Tensorflow와 Keras- 배포와 안정성이 중요한 프로덕션 환경에 적합 (모바일 애플리케이션, 클라우드 배포, IoT 디바이스 등)- 대규모 데이터 처리에 강점, Google지원으로 장기 지원과 생태계 제공- Define and Run : 그래프를 먼저 정의하고, 실행 시점에 데이터를 feed(넣어줌)1) Tensorflow- 대규모 배포와 클라우드 지원- 배포 및 프로덕션 친화적- Google 생태계와의 통합- 초기에 정적 그래프로 디버깅이 어려웠으나 현재는 동적 그래프도 지원2) Keras- 초기에 독립적인 라이브러리로 시작했지만, tensorflow ..

1. 공유받은 url 주소 중 파일 id 추출* 파일id : 구글 드라이브에서 파일을 고유하게 식별하는 IDhttps://drive.google.com/file/d/[파일 ID]/view 2. colab에서 내 google drive연동 (또는 왼쪽 폴더 리스트 위에 드라이브 모양 클릭해도 됨)# 구글 드라이브 마운트from google.colab import drivedrive.mount('/content/drive')3. 내 구글 드라이브에 파일 다운로드(경로 변경하면 내 구글 드라이브 말고 현재 colab환경에만 다운로드도 가능)# 폴더 없을 경우 생성!mkdir -p /content/drive/MyDrive/myfolder# gdown 명령어로 파일 다운로드!gdown https://drive.g..

시계열 팀프로젝트를 하면서 lstm이 기존 머신러닝 방법보다 성능이 훨씬 안좋은 적이 있었다.딥러닝은 데이터의 수가 작을 경우 과적합이 발생한다고 한다. 1. 데이터 수가 적은 경우 딥러닝이 적합하지 않은 이유1) 파라미터 수가 데이터 수를 초과예) 변수가 16개인 데이터에서 LSTM 레이어(64 units)하나만으로도 수천 개의 파라미터를 가진다.(4는 입력,망각,출력게이트, 셀상태업데이트의 입력에 대한 가중치)- 입력크기가 16일때, 입력가중치 = 16*4*64=4096, 은닉상태 64*4*64=16384, 바이어스 4*64=256 총 20736- Dense(64)의 경우 파라미터는 16*64+64=1088만약, 데이터가 1000개 샘플이라면 모델은 데이터보다 더 많은 파라미터를 학습하려 한다.=> ..

1. 뉴럴 네트워크 도식화  2. 활성화 함수 (Optimization Algorithm)- Activation Function, 신경망에서 입력값을 처리해 출력값을 변환하는 수학적 함수- 모델이 복잡한 문제를 해결할 수 있도록 데이터를 비선형적으로 변환한다(예: 직선이 아닌 곡선 모양으로 예측가능)- 활성화 함수가 없으면 layer가 있는 의미가 없기 때문에 중요하다활성화함수SigmoidSoftmaxTanhReLULeaky ReLU공식출력범위0 ~ 10 ~ 1-1 ~ 10 ~ 무한대- 무한대~ 무한대용도출력층(이진분류)출력층(다중분류)은닉층(양수/음수)은닉층(양수)ReLU 대안(양/음)*α:작은양수(0.01) 3. 최적화 알고리즘- 손실함수를 최소화 하기 위해 손실 함수의 기울기를 계산하고 가중치와 편..