201. 엔터프라이즈 백업 아키텍처 - 클라우드 티어링 스토리지

⚠️ 이 문서는 기업의 데이터가 수십 페타바이트(PB) 단위로 폭증하면서 모든 데이터를 가장 비싸고 빠른 하드디스크(SSD)에 보관하다간 회사가 파산하는 딜레마를 해결하기 위해, 자주 쓰는 뜨거운 데이터는 비싼 디스크에, 1년에 한 번 볼까 말까 한 차가운 백업 데이터는 값싼 클라우드 스토리지(AWS S3 Glacier 등)나 자기 테이프로 스스로 판단하여 밀어내는 지능형 데이터 계층화 기술인 '스토리지 티어링(Storage Tiering)' 아키텍처를 다룹니다.

핵심 인사이트 (3줄 요약)

  1. 본질: 데이터의 유통기한(온도)에 따라 거주지를 자동으로 옮겨주는 부동산 정책이다. 데이터 덩어리가 생성된 지 몇 달이 지나면 기계가 알아서 눈치채고, 비싼 강남 아파트(NVMe SSD)에서 방 빼게 하여 외곽의 값싼 창고(클라우드 딥 아카이브)로 이사시킨다.
  2. 가치: 1페타바이트의 데이터를 몽땅 1등급 스토리지에 넣으면 월 수억 원이 깨지지만, 90%의 쓰레기(Cold Data)를 3등급 스토리지로 쫓아내면 스토리지 구매 및 유지보수 비용(TCO)을 70% 이상 획기적으로 절감할 수 있다. 랜섬웨어 방어(WORM 저장소) 효과는 덤이다.
  3. 기술 체계: 가장 뜨거운 Hot Tier(NVMe/SSD) $\rightarrow$ 며칠 지난 Warm Tier(HDD/S3 Standard) $\rightarrow$ 법적 보관용 빙하인 Cold Tier(테이프/S3 Glacier) 라는 3계층(3-Tier) 구조가 표준이며, 관리자의 수동 개입 없이 ILM(정보 수명주기 관리) 정책 소프트웨어가 백그라운드에서 데이터를 몰래 이주(Migration)시킨다.

Ⅰ. 스토리지의 저주: 모든 데이터가 비쌀 필요는 없다

어제 찍은 사진과 10년 전 영수증을 똑같은 금고에 보관하는 것은 바보 짓이다.

  1. 데이터 온도(Data Temperature)의 법칙:
    • 데이터는 갓 태어났을 때 가장 뜨겁다(Hot). 은행의 오늘 결제 내역은 1초에도 수백 번씩 SELECT와 UPDATE가 일어난다. 이런 데이터는 무조건 0.01밀리초 만에 반응하는 초고가 1등급 NVMe SSD 스토리지에 모셔야 한다.
    • 하지만 한 달이 지나면 온도가 식는다(Warm). 고객이 이 결제 내역을 조회할 확률은 5%로 떨어진다.
    • 1년이 지나면 얼어붙는다(Cold). 상법상 5년간 보관해야 해서 버릴 수는 없지만, 이걸 꺼내 볼 확률은 감사(Audit)나 소송이 터지지 않는 한 0%다.
  2. 단일 스토리지의 파산(TCO 폭발):
    • 옛날 전산실은 귀찮으니까 이 모든 10년 치 쓰레기 데이터까지 몽땅 1등급 스토리지 한곳에 때려 넣었다.
    • 스토리지가 꽉 찰 때마다 수억 원짜리 EMC나 NetApp 스토리지 박스를 샀다. IT 예산의 절반이 쓰지도 않는 데이터를 보관하는 하드디스크 구매에 낭비되었다.

📢 섹션 요약 비유: 도서관에 비유하면, 방금 막 출간된 베스트셀러(Hot Data)는 가장 눈에 잘 띄고 비싼 금테를 두른 1층 중앙 진열대(SSD)에 두는 게 맞습니다. 그런데 10년 전에 누군가 한 번 읽고 먼지가 뽀얗게 쌓인 낡은 논문(Cold Data)조차 그 1층 황금 진열대에 꽂아두고, 공간이 모자란다며 황금 진열대를 계속 비싼 돈 주고 증축하는 멍청한 예산 낭비가 바로 옛날 전산실의 현실이었습니다.

Ⅱ. 티어링(Tiering) 아키텍처: 강제 이주 시스템

데이터가 늙으면 가차 없이 싼 방으로 쫓아낸다.

  1. 지능형 수명주기 관리 (ILM, Information Lifecycle Management):
    • 스토리지 컨트롤러나 백업 소프트웨어(Veeam, NetBackup)에 규칙(Rule)을 걸어둔다.
    • "생성된 지 30일이 지나고 단 한 번도 열어보지 않은 파일이 있다면, 1등급 SSD에서 2등급 싼 하드디스크(HDD) 묶음으로 몰래 이사시켜라!"
    • "그리고 1년이 지나도 안 열어보면 아예 클라우드(AWS S3) 저 구석 빙하 창고로 던져버려라!"
  2. 클라우드 티어링 (Cloud Tiering)의 무서움:
    • 특히 온프레미스(사내 전산실)와 클라우드를 엮는 하이브리드 환경에서 빛을 발한다.
    • 비싼 기계를 더 사는 대신, 사내 저장소 뒤통수에 AWS S3 Object Storage 파이프를 꽂아둔다.
    • 용량이 80% 찰 때마다 낡은 데이터를 인터넷을 통해 AWS S3로 넘겨버린다. 직원(사용자)이 그 낡은 파일을 더블클릭하면? 시스템이 1초 정도 버벅댄 뒤 클라우드에서 몰래 파일을 다시 가져와 열어준다. 직원은 파일이 AWS에 유배 갔다가 돌아온 사실조차 눈치채지 못한다 (투명한 마이그레이션).

📢 섹션 요약 비유: 티어링은 완벽한 자동화 부동산 관리입니다. 청년(신규 데이터)일 때는 월 300만 원짜리 강남 최고급 아파트(SSD)에 살게 해줍니다. 은퇴해서 활동이 없어지면 기계(ILM)가 짐을 몽땅 싸서 경기도 외곽의 50만 원짜리 전원주택(HDD)으로 이사시킵니다. 1년 뒤 아예 요양병원(클라우드 딥 아카이브)으로 보내 월 5만 원으로 유지비를 깎아버리는 냉혹하고도 완벽한 비용 최적화 시스템입니다.

Ⅲ. 궁극의 무덤: 딥 아카이브(Deep Archive)와 웜(WORM)

절대 꺼내지 않을 데이터라면 흙으로 덮어 봉인하라.

  1. AWS S3 Glacier Deep Archive:
    • 차가운 데이터(Cold Data)의 끝판왕이다. 1TB를 저장하는 데 한 달에 1,000원밖에 안 하는 공짜 수준의 쓰레기장이다.
    • 치명적 조건: 단, 요금이 싼 대신 여기 들어간 데이터를 다시 다운받고 싶어지면(Restore) AWS에 복구 신청 버튼을 누르고 최대 12시간에서 48시간을 기다려야만 압축이 풀려 파일을 내어준다. (즉시 꺼내 볼 수 없는 진짜 무덤이다.)
  2. 불변의 저장소 (WORM, Write Once Read Many):
    • 티어링으로 넘어간 옛날 백업 데이터는 해커의 1순위 먹잇감(랜섬웨어 암호화 타겟)이 된다.
    • 클라우드 창고에 넣을 때 '오브젝트 락(Object Lock)' 이라는 WORM 모드를 켜서 봉인한다.
    • "이 파일은 오늘부터 5년 동안, 설령 최고 관리자(Root) 권한을 해킹해 뺏어온 해커라 할지라도 절대 DELETE나 UPDATE(암호화) 할 수 없다!"라고 강제로 못 박아버리는 기술이다. 해커가 창고에 들어와 불을 질러도 파일이 흠집 하나 없이 살아남는 완벽한 방어구 축술이다.

📢 섹션 요약 비유: 딥 아카이브는 땅속 10미터 깊숙이 묻어버리는 '타임 캡슐'입니다. 묻는 건 거의 공짜지만, 나중에 다시 꺼내 보려면 포크레인을 부르고 12시간 동안 땅을 파야만(복구 지연) 꺼낼 수 있습니다. 게다가 이 타임캡슐은 WORM이라는 특수 합금으로 만들어져, 5년 타이머가 다 돌기 전까지는 지구상 그 누구도 토치를 가져와 캡슐을 녹이거나 부술 수 없는(랜섬웨어 100% 면역) 절대 파괴 불가 방어벽을 자랑합니다.