[AWS] AWS의 스토리지 및 데이터베이스 서비스 ✨

☁️ AWS 스토리지 & 데이터베이스 완전 정리

클라우드를 제대로 이해하기 위해 꼭 알아야 할 AWS의 스토리지 및 데이터베이스 서비스!

이 글에서는 블록 스토리지부터 객체 스토리지, 파일 스토리지, 다양한 DB 서비스까지 전반적인 내용을 쉽게 정리해보았습니다.

---

 

 

📦 블록 수준 스토리지

• SSD, 하드디스크
  • 📌 SSD란, Solid State Drive 줄임말로 데이터를 저장하는 장치
  • 기존의 하드디스크(HDD)는 회전하는 디스크에 데이터를 저장
  • 움직이는 부품 없이, 반도체 칩에 바로 데이터를 저장 → 빠르고 조용하고 튼튼
• 데이터를 작은 블록 단위로 저장하는 저장방식
• EC2 인스턴스에도 하드디스크가 있다.
  • 유형에 따라 인스턴스 스토어 볼륨이라고 하는 로컬 저장소를 제공할 수 있다.
  • 이러한 볼륨은 EC2 인스턴스가 실제로 실행되는 호스트에 물리적으로 연결이 되게 하고, 일반 하드디스크처럼 바로 작성할 수도 있다.

 

✅  인스턴스 스토어 ( = 로컬 저장소)

• EC2 인스턴스에서는 임시 블록 수준 스토리지를 제공
• 물리적으로 EC2 인스턴스의 호스트 컴퓨터에 연결되어 있고, 인스턴스 수명과 동일한 디스크 스토리지다.
• 인스턴스가 종료되면 인스턴스 스토어의 데이터가 손실된다.
  • 왜냐하면 EC2 인스턴스가 기존 호스트와는 다른 호스트에서 시작될 가능성이 있기 때문이다.
• 인스턴스 스토어 볼륨은 휘발성 또는 일시적인 특성 때문에 드라이브에 작성한 데이터를 잃어도 괜찮은 상황에서 유용하다.
  • 예를 들면, 임시 파일, 스크래치 데이터, 재생성할 수 있는 데이터 등

 

🟡 EBS(Elastic Block Store)

• 블록 수준 스토리지 볼륨을 제공하는 서비스
• EC2 인스턴스를 중지/종료하더라도 EBS 볼륨의 모든 데이터를 사용할 수 있다.
• EC2 인스턴스의 호스트 컴퓨터에서 드라이브를 분리
• EBS 볼륨을 생성하려면 구성을 정의하고 프로비저닝을 한다. 생성한다음 EC2 인스턴스에 연결할 수 있다.
• 보존해야 하는 데이터를 위한 것이므로 데이터 백업이 중요하다.
  • 스냅샷을 생성하여 EBS 볼륨을 증분 백업할 수 있다.
  • 📌 EBS 스냅샷: 처음 볼륨을 백업하면 모든 데이터가 복사된다. 이후 백업은 최근의 스냅샷 이후 변경된 데이터 블록만 저장된다.

📌 증분 백업이란?
이전 백업 이후에 바뀐 데이터만 백업하는 방식
마지막 백업 이후 변경된 데이터만 백업

---

 

 

✅ 객체 스토리지

• 각 객체는 데이터, 메타 데이터, 키로 구성
  • 데이터: 이미지, 동영상, 텍스트 문서 또는 기타 유형의 파일
  • 메타데이터: 데이터의 내용, 사용 방법, 객체 크기
  • 객체의 키: 고유한 식별자

🟡 Amazon Simple Storage Service (Amazon S3)

• 객체 스토리지 서비스
• 규모에 상관없이 무한대의 데이터를 저장하고 검색할 수 있는 데이터 저장소
• 데이터는 객체로 저장하고, 그 객체를 파일 디렉터리 '버킷'이라는 곳에 저장한다.
  • 📌 버킷이란, 파일을 저장하기 위한 폴더 개념, 단순한 폴더가 아니라 고유한 이름을 가진 저장소 단위
  • 하드 드라이브에 있는 파일은 객체, 파일 디렉터리는 버킷이라고 생각하면 된다.
  • 업로드할 수 있는 최대 객체크기는 5TB
• 객체에 버전을 지정하면 실수로 삭제되는 일을 방지할 수 있다. 문서 기록처럼 객체의 이전 버전을 항상 유지한다.
• 여러 버킷을 생성하고 다양한 데이터 클래스 또는 계층을 저장할 수도 있다.
• 여러 계층에 데이터를 배치할 수도 있다. 이러한 계층들은 다양한 스토리지 사례에 맞는 매커니즘을 제공한다.

AWS S3
 └── 버킷(Bucket) ← 파일 저장하는 공간
      └── 객체(Object) ← 실제 저장된 파일들 (ex. 이미지, PDF, txt 등)

 

•  특징
  • 고유한 이름 (중복 불가, 도메일처럼)
  • 폴더처럼 보이지만 실제로는 모든 파일이 키(key) 기반으로 저장됨
  • 누구나 접근하거나 특정사용자만 접근할 수 있음
  • 어느 지역에 둘지 설정 가능
  • 파일을 덮어쓸 때 이전 버전도 보관가능
• 예를 들어, my-photo-bucket이라는 버킷 생성
• 그 안에 파일 업로드
• 파일들은 각각 객체가 됨
• https://my-photo-bucket.s3.amazonaws.com/summer/beach.jpg

 

 

---

 

 

✅ 파일 스토리지

1. 파일 스토리지에서는 여러 클라이언트가 공유 파일 폴더에 저장된 데이터에 액세스할 수 있다.
   1. 이 접근 방식에서는 스토리지 서버가 블록 스토리지를 로컬 파일 시스템과 함께 사용하여 파일을 구성
2. 블록스토리지 및 객체 스토리지와 비교하면, 파일 스토리지는 많은 수의 서비스 및 리소스가 동시에 동일한 데이터에 액세스해야 하는 사용 사례에 이상적

 

 

💡 블록 스토리지와 객체 스토리지 차이

항목	블록 스토리지	객체 스토리지
구조	데이터를 고정된 블록 단위로 저장	객체 단위로 저장
접근 방식	파일 시스템이나 디스크처럼 직접 마운트	HTTP API 등으로 저장
사례	운영체제 디스크, DB 저장소, 가상 머신	백업, 이미지/영상 저장, 로그, 정적 파일
AWS 예시	EBS	S3
성능	낮은 지연 시간, 빠름	상대적으로 느리지만 대규모 확장 가능
확장성	제한적	무제한에 가깝게 확장 가능
가격	비쌈	저렴

 

 

🟡 Amazon Elastic File System(Amazon EFS)

1. 클라우드 서비스 및 온프레미스 리소스와 함께 사용되는 확장 가능한 파일 시스템
2. 완전관리형 네트워크 파일 스토리지 서비스
3. 폴더 공유 기능을 클라우드에서 제공해주는 서비스
4. 파일을 추가 또는 제거하면 Amazon EFS가 자동으로 확장하거나 축소됨
5. 애플리케이션을 중단하지 않고 온디맨드로 메타바이트 규모로 확장할 수 있다.

📌 온디맨드: 사용자가 필요할 때 인스턴스를 바로 만들고, 사용한 만큼만 요금 내는 방식

 

 

✅ Amazon EBS와 EFS 비교

1. EBS 볼륨
   1. 단일 가용 영역에 데이터를 저장함
   2. 인스턴스를 EBS 볼륨에 연결하려면 EC2 인스턴스와 EBS 볼륨 모두 동일한 가용영역을 상주해야 함
2. EFS
   1. 리전별 서비스
   2. 여러 가용영역에 걸쳐 데이터를 저장
   3. 중복 스토리지를 사용하면 파일 시스템이 위치한 리전의 모든 가용영역에서 동시에 데이터에 액세스할 수 있음
   4. 온프레미스 서버는 AWS Direct Connect를 사용하여 EFS에 액세스할 수 있음

공통점

1. 리프트 앤 시프트:
   1. 리프트 앤 시프트 작업을 수행하고, 데이터베이스를 마이그레이션하여 EC2에서 실행되게 하면 된다.
   2. 온프레미스 환경에서 동일한 OS, 메모리, CPU, 스토리지 용량 같은 변수를 제어할 수 있다.
   3. 빠르게 클라우드로 전환 가능하며 표준 절차나 데이터베이스 마이그레이션 서비스와 같은 기능을 사용하여 마이그레이션 가능하다.
2. 클라우드에서 데이터베이스를 실행하는 다른 방법
   1. Amazon Relational Database Service(RDS)
   2. 모든 주요 데이터베이스 엔진을 지원
   3. 일반적으로 사용자가 관리해야 하는 패치 적용, 백업, 이중화, 장애 조치, 재해 복구를 자동으로 진행한다는 점
   4. 데이터베이스의 유지 관리보다 비즈니스 문제에 집중할 수 있기 때문
3. Amazon Aurora로 마이그레이션하거나 배포할 수 있다.
   1. MySQL과 Oracle과의 호환성이 높은 PostgreSQL이 두가지 형태로 제공된다.

 

 

✅ 관계형 데이터베이스

1. 정형 쿼리 언어(SQL)를 사용하여 데이터를 저장하고 쿼리한다.
2. 데이터를 쉽게 이해할 수 있고 일관되며 확장 가능한 방식으로 저장할 수 있다.

 

🟡 Amazon Relational Database Service(RDS)

1. AWS 클라우드에서 관계형 데이터베이스를 실행할 수 있도록 하는 서비스
2. 하드웨어 프로비저닝, 데이터베이스 설정, 패치 적용 백업과 같은 작업을 자동화하는 관리형 서비스
3. RDS와 다른 서비스와 통합하면 Lambda를 사용하여 서버리스 애플리케이션에서 데이터베이스를 쿼리하는 등 비즈니스 및 운영 요구 사항을 충족 가능
4. 다양한 보안 옵션을 제공

✨ RDS 데이터베이스 엔진

1. RDS는 메모리, 성능 또는 입/출력(I/O)에 최적화된 데이터베이스 엔진을 사용하고 있다.

 

🟡 Amazon Aurora

1. 엔터프라이즈급 관계형 데이터베이스
2. MySQL 및 PostgreSQL 관리형 데이터베이스와 호환됨
3. 표준 MySQL 데이터베이스보다 최대 5배 빠르며, PostgreSQL 데이터베이스보다 최대 3배 빠름
4. 데이터베이스 리소스의 신뢰성 및 가용성을 유지하면서 불필요한 입/출력 작업을 줄여 데이터베이스 비용을 절감함

💡 엔터프라이즈급이란?

• 대기업이나 기관, 조직에서 사용하기에 적합한 수준의 안정성, 성능, 보안, 확장성을 갖춘 제품이나 서비스
• 회사의 핵심 업무에 써도 될 만큼 믿을 수 있는 수준

---

 

 

✅ 비관계형 데이터베이스

1. 구조적 접근 방식 중 한 유형은 키-값 페어
   1. 데이터가 항목(키)으로 구성되고 항목은 속성(값)을 갖음

 

🟡 Amazon DynamoDB

1. 서버리스 데이터베이스
2. 라 인스턴스나 인프라를 관리할 필요가 없이 사용가능
3. 테이블을 생성하는데, 이는 데이터를 저장하고 쿼리하는 곳
   1. 각각의 데이터는 항목과 속성이라는 두가지 요소로 구성
4. 시스템 규모에 따라 조정을 신경 쓸 필요가 없음
   1. 용량에 맞춰 자동 크기 조정하면서 일관된 성능을 유지
5. 데이터를 가용 영역 전체에, 여러 드라이브 전체에 사용자를 대신해서 데이터를 중복으로 저장
   1. 이러한 덕분에 고가용성 데이터베이스 운영에 대한 부담이 크게 낮아짐
6. 중복으로 저장
7. 응답시간은 밀리초 단위
8. 일반적인 데이터베이스가 아닌
   1. SQL 언어를 사용하는 것은 유동적이고 빠른 속도로 액세스되어야 하는 데이터에는 적합하지 않음
   2. 이럴 때 우리는 비관계형인 NoSQL 데이터베이스를 사용함
9. SQL 언어를 사용하지 않는다.
10. 비관계형 데이터베이스
    1. 데이터가 고정적인 스키마를 가지고 서로 관계를 가지고 있는 여러 테이블에 배치되는 이러한 복잡한 방식이 아니라 단순하고 유연한 스키마를 가짐
    2. 언제든 속성을 추가하고 제거할 수 있음
    3. 이러한 유연성 때문에 복잡한 SQL 쿼리를 실행 할 수 없음
    4. 대신 파티션이라는 키로 지정되는 하위 집합을 기반으로 쿼리를 작성할 수 있음
11. 응답 시간이 빠르고 완전 관리형, 확장석이 뛰어남

 

---

 

🟡 AWS Database Migration Service(DMS)

1. DMS를 사용하여 기존 데이터베이스를 안전하고 쉽게 AWS로 마이그레이션 할 수 있음
2. 마이그레이션 중에도 원본 데이터베이스가 정상적으로 동작하므로 데이터베이스에 의존하는 애플리케이션의 다운타임이 최소화됨
3. 원본 및 대상 데이터베이스 유형이 달라도 됨
4. 2단계 프로세스로 진행
   1. 원본과 대상의 스키마 구조, 데이터 유형, 데이터베이스 코드가 다르므로 Amazon Schema Conversion Tool, SCT라고 하는 툴을 사용해서 변환해야 함.
   2. DMS를 사용하여 원본 데이터베이스의 사용될 수 있도록 변환됨
5. 관계형 데이터베이스, 비관계형 데이터베이스 및 기타 유형의 데이터 저장소를 마이그레이션 할 수 있는 서비스
6. 원본 데이터베이스와 대상 데이터베이스 유형이 동일할 필요 없음
7. 여러 데이터베이스를 단일 데이터베이스로 결합
8. 일회성 마이그레이션 수행이 아니라 데이터 진행 중 복제본을 다른 대상 원본으로 전송도 됨

---

 

 

✅ 추가 데이터베이스 서비스

1. Amazon DocumentDB
   1. 콘텐츠 관리, 카탈로그, 사용자 프로필에 적합
   2. MongoDB 워크로드를 지원하는 문서 데이터베이스 서비스
   3. MongoDB는 문서 데이터베이스 프로그램
2. Amazon Neptune
   1. 소셜 네트워킹 및 추천 엔진을 고려해 설계되었고 사기 탐지에도 유용
   2. 그래프 데이터베이스 서비스
3. Amazon Quantum Ledger Database(QLDB)
   1. Ledger: 장부, 회계 장부, 기록을 남기고 그 기록을 바꿀 수 없도록 보존하는 시스템
   2. Quantum: 세분화된 정밀한 단위
   3. QLDB: 고정밀/고성능/최신 기술 기반의 원장 DB
   4. 원장 데이터베이스 서비스
      1. 변경 불가능한 기록(원장)을 안전하게 저장할 수 있는 데이터베이스
   5. 데이터에 발생한 모든 변경 사항의 전체 기록을 검토할 수 있음
4. Amazon Managed Blockchain
   1. 오픈 소스 프레임워크를 사용하여 블록체인 네트워크를 생성하고 관리하는데 사용할 수 있는 서비스
   2. 블록체인은 여러 당사자가 중앙기관 없이 거래를 실행하고 데이터를 공유하는 분산형 원장 시스템
5. Amazon ElasticCache
   1. 자주 사용되는 요청의 읽기 시간을 향상시키기 위해 데이터베이스 위에 캐싱 계층을 추가하는 서비스
   2. 두 가지 데이터 스토어 Redis 및 Memcached를 지원함
6. Amazon DynamoDB Accelerator
   1. DynamoDB의 응답 속도를 더 빠르게 해주는 인메모리 캐시 서비스
   2. DynamoDB는 빠르지만, 복잡한 읽기 작업이 많아지면 레이턴시(= 어떤 요청을 보냈을 때 응답이 오는 시간)가 늘어나느데 자주 요청되는 데이터를 RAM 메모리에 저장해두고 다음 요청이 오면 DynamoDB까지 가지 않고 바로 응답
   3. DAX는 DynamoDB용 인 메모리 캐시
   4. 응답 시간을 한자릿수 밀리초에서 마이크로 초까지 향상시킬 수 있음