클라우드 vs 온프레미스, '무조건'은 없습니다 — 워크로드로 판단

“클라우드가 답입니다”라는 글과 “온프레미스가 답입니다”라는 글이 매일 함께 올라옵니다. 둘 다 절반만 맞습니다. 인프라 선택은 워크로드의 성격으로 결정됩니다.

3분법 비교

선택 기준 4축

1. 비용 — 초기 vs 장기: 3년 운영 기준으로 CapEx+OpEx를 합산해 비교
2. 보안 — 데이터 민감도가 내부 통제를 요구하는가
3. 확장성 — 사용량 변동이 큰가
4. 운영 인력 — 인프라를 관리할 사람이 있는가

개념 이미지: 사용량·민감도·운영 인력·장애 영향 네 축으로 배치를 판단하는 질문들입니다.

흔한 오해

• “클라우드는 유지보수가 필요 없다” — 인프라 운영 부담이 경감될 뿐, 관리가 사라지는 것은 아닙니다
• “온프레미스는 항상 저렴하다” — 사용률·전력비·유지보수 인력에 따라 달라집니다
• “온프레미스는 100% 전용” — 학습·추론을 동시에 돌리면 자원 경합이 생길 수 있습니다

GPU 서버 구축 전 선행 검토

• 발열·전력 리소스 설계
• 확장 슬롯·PSU 여유
• 가상화·MLOps 환경

전력·냉각·확장성은 설치 후에는 바꾸기 어렵습니다.

TCO 비교 접근법

3년 운영, 24시간 가동 전제로:

• 월 호출량·피크 동시사용자·저장량
• 3년 TCO = 구축/구독비 + 전력·냉각 + 인력 + 유지보수
• 가동중단 비용 = 장애 시 시간당 손실

손익분기 시점은 GPU 단가·전력 단가·이용률에 따라 크게 변하므로, 특정 월수를 ‘정답’처럼 쓰지 않습니다. 오늘 사용량·민감도·운영 인력·장애 영향 네 가지를 적어 보세요. Core Company는 그 값으로 클라우드·온프레미스·하이브리드 배치를 판단하는 조건표를 만들어 드리겠습니다.