[MLOps] AWS 클라우드 서비스(EC2, RDS, CI/CD 파이프라인)

1. AWS란?

- 아마존에서 제공하는 클라우드 플랫폼

- 실시간 데이터 처리와 배치 데이터 처리 가능

 

2. EC2란?

- 크기가 유연하게 변경되는 가상 서버 기능

- 인스턴스가 실행되고 있을 때만 비용을 지불

1) 비용 지불방법

- 온디맨드: 시간당 정해진 금액을 지불(최소 60초), 개발 기간이 비교적 짧으며 소프트웨어 검증 및 테스트 단계에서 많이 사용

- 리저브드: 1~3년 정도 싸게 임대, 하지만 인스턴스의 크기를 늘리거나 줄일 수 없다.

- 스팟: 내가 제안한 경매 가격일 때만 실행, 하지만 인스턴스가 언제 켜지고 꺼질지 미리 알 수 없다. 

 

2) EBS

- EC2의 스토리지, 인스턴스가  종료되어도 EBS안에 들어있는 데이터는 여전히 존재한다

- 가용영역: 메인 서버에서 만들어지는 일종의 복사본(백업용)

- 타입: SSD(빈번한 읽기/쓰기, 입출력의 비중이 매우 클때), HDD(방대한 스트리밍 워크로드를 신경써야 할 때)

 

3. RDS

- 관계형 데이터 베이스 서비스

- AWS RDS 제공 DB: Microsoft SQL Server, Oracle, MySQL, PostgreSQL, Amazon Aurora, MariaDB

* Amazon Aurora: 서버리스 및 머신러닝 애플리케이션 구축을 위해 요구되는 고성능 관계형 데이터베이스

1) 데이터 웨어하우스: BI(business intelligence) 관련 업무 및 데이터 분석 작업 지원 

* 데이터베이스: 데이터를 담고 있는 테이블을 물리적으로 보관하고 있는 장소

** 데이터 웨어하우스: 하나 혹은 여러개의 소스(DB 또는 다른 클라우드 플랫폼)로부터 데이터를 수집하고, 보관하며, 규모가 큰 데이터를 불러오는 시스템

2) OLTP(Online transction processing): 실시간으로 작은 규모의 데이터를 DB에 보관하고 즉시 꺼내서 프로세싱 할 때 사용

3) OLAP(Online analytical processing): 큰 데이터를 한 번에 불러올때(다차원적 데이터 분석 등), 트랜잭션 프로세싱 사용X

4) 스냅샷: 데이터베이스 인스턴스를 통째로 복사(백업), 원본 인스턴스를 삭제해도 스냅샷은 존재

 

4. CI/CD 파이프라인

- 프로그램 빌드, 출시 전 테스트, 배포, 출시 과정을 자동화해줌 => 코드 커밋에서 특정 코드가 변경되면 이를 감지하고 빌드를 지냉하라는 트리거를 만들어 적용

- CI: 지속적 통합, 내가 작성한 코드를 중앙 리포지토리에 올려 다른 개발자가 개발하는 코등 지장 없이 테스트하여 코드가 원하는 결과물을 만들어 내는지, 잘 돌아가는지 검증=> 코드 충돌을 피할 수 있음

- CD: 지속적 배포, 언제 어떤 버그가 고쳐졌는지 알 수 있게 따로 백업하지 않아도 점진적 개발 가능, 복잡한 배포 과정 자동화

 

 

 

※ 참고자료: 업무에 바로 쓰는 AWS 입문[김성민 지음]