[AWS] AWS 볶음밥6 (스토리지)

클라우드 스토리지 

• 블록 스토리지
  • 원시 스토리지
  • 데이터가 관련 없는 블록의 배열로 구성
  • AWS 에선 EBS
  • ex) 하드 디스크, 스토리지 영역 네트워크(SAN), 스토리지 어레이 
• 파일 스토리지
  • 파일 시스템이 관련 없는 데이터 블록 관리
  • 네이티브 파일 시스템이 디스크에 데이터를 배치
  • AWS 에선 EFS, FSX
  • ex) 네트워크 연결 스토리지(NAS), 어플라이언스, 윈도우 파일 서버
• 객체 스토리지
  • 데이터, 데이터 속성, 메타 데이터, 객체 ID를 캡슐화하는 가상 컨테이너를 저장
  • AWS는 S3
  • ex) Ceph, OpenStack Swift

 

Amazon S3 

내구성이 뛰난 객체 스토리지 솔루션

[파일+ Metadata(크기, 속성) +Key(URL 등)] => 객체

하나라도 바뀌면 다 새로 저장 => 정적 데이터 저장에 적합하다 (WORM: Write One Read Many)

버킷이름은 글로벌에서 유니크해야함, DNS 이름 주어짐

동일한 버킷에 여러 객체 버전 유지 => 추후 특정 버전으로 복원 가능

 

종류

• S3 Standard
• S3 Intelligent - Tiering
• S3 Standard - IA
• S3 One Zone - IA
• S3 Glacier Storage Class 

위에 있을수록 엑세스 빈도가 높은 경우 적합, 밑에 있을 수록 엑세스 빈도 낮을 경우에 적합

 

 

사용 사례

• 백업 및 복원
• 비즈니스 크리티컬 어플리케이션
• 아카이빙 및 규정 준수 (ex- 로그, 미디어)

버킷 및 객체

버킷내에 객체 단위로 데이터 저장

객체는 파일과 해당 파일을 설명하는 모든 메타데이터로 구성

버킷 및 그 안의 객체에 대한 엑세스를 제어

 

S3 Glacier 스토리지 클래스

• 비용 효율성- 장기 아카이브에 적합
• 유연한 데이터 엑세스 - 3가지 스토리지 클래스로 요구 사항을 충족
• 관리 기능 - 저장소 잠금, 검색 정책, AWS Cloud Tail 등
• 보안 - 저장 시 암호화로 데이터 보호
• 확장성 - 필요에 따라 확장가능
• 내구성 - 아카이브 내구성이 99.99...%

 

수명 주기 정책

S3 수명 주기를 사용하여 객체를 다른 스토리지 클래스로 전환할 수 있음

이렇게 하는 이유는 비용 문제, 엑세스 빈도가 낮은 쪽일수록 비용이 싸기에

 

Ex)

30일 지난 객체 S3 Standard-IA로 이동

365일 지난 객체 S3 Glacier Deep Archive 로 이동 

 

 

S3 객체 복제

리전 간, 리전 내 복사 가능

객체들을 비동기식으로 자동 복사

리전 자체가 다운될 수 있기에 예를 들어 한국 리전이 다운될 것을 대비해 일본 리전에 복제해 놓는 식으로 사용

 

 

S3 이벤트 알림 

 S3에서 이벤트 발생시 Lambda 가 실행되는 Event Driven Architecture를 구현할 수 있음

 

 

 

S3 Transfer Acceleration 

 

예를 들어 서울에서 남미에서 데이터를 받아올 때 인터넷을 타고 서울의 버킷에 바로 오면 오래 걸리고 중간에 장애 발생할 가능성이 있음

위의 기능을 사용한다면 데이터를 전송하는 곳에서 가장 가까운 Amazon CloudFront 엣지 로케이션으로 데이터 전달, 저장 이후에는 AWS 백본망을 통해 이동할 수 있음 

=> 네트워크 변동성을 축소하고 대역폭 사용률을 높일 수 있음

 

 

S3 모범사례

• 스토리지 클래스 및 비용 최적화
  • Intelligent-Tiering
  • 수명 주기
• 데이터 보호
  • 버전 관리
  • 복제
• 보안
  • 퍼블릭 엑세스 차단
  • 암호화
  • S3 엑세스 포인트
  • S3 객체 소유권
• 분석 및 인사이트
  • CloudWatch

 

 

Amazon EFS(Elastic File System)

여러 인스턴스가 동일한 스토리지를 사용할 경우 선택

EBS는 일반적으로 인스턴스 하나에 연결

S3 는 파일 시스템용으로 구축되지 않음

 

 EFS 만들고 이를 보통 Private 서브넷들의 마운트 타겟(ENI 형태)과 연결하여 Private 서브넷의 EC2 인스턴스들이 파일 시스템에 동시에 엑세스하는 방식

 

NFSv4 프로토콜을 사용해서 연결

99.99...% 내구성을 제공하도록 설계

스토리지 기준으로 오토 스케일링 

큰 사이즈일수록 성능 좋아짐

 

Throughput Mode

1. Bursting: Default, 크레딧을 쌓아두다가 수요가 몰릴 때 맞춰서 모아둔 크레딧을 사용하여 성능 쫙 올리는 방식 
2. Provisioned: 일정한 성능