팀 프로젝트) AWS에서도 3 clusters로 구성한 이유

---

AWS에서도 클러스터를 분리해야 하는 이유

AWS 환경에서는 기본적으로 가용 영역(AZ) 기반 HA를 제공하므로 단일 클러스터만으로도 장애 대응이 가능하다.
하지만 운영, 보안, 안정성 측면에서는 클러스터를 역할별로 분리하는 것이 여전히 중요하다.

1. 역할 기반 클러스터 구분

1. Datacenter Cluster는 서비스 애플리케이션을 실행하고 로그와 메트릭을 수집한다.
2. Kafka Cluster(MSK)는 Datacenter Cluster에서 전송한 로그와 메트릭 데이터를 중계하고 버퍼링한다.
3. Monitoring Cluster는 Kafka Cluster로부터 데이터를 소비하여 분석하고 시각화하며 알림을 발송한다.

각 클러스터는 수행하는 역할이 명확히 다르므로, 단일 클러스터로 통합하면 운영과 장애 대응에 어려움이 발생한다.

---

2. 보안 격리

클러스터를 분리하면 각 영역의 보안 정책을 독립적으로 적용할 수 있다.
Monitoring Cluster가 침해되더라도 Datacenter Cluster의 서비스와 Kafka 데이터는 안전하게 보호된다.
클러스터 단위 분리는 AWS 보안 그룹이나 네임스페이스 기반 논리적 격리보다 물리적·운영적 안전성이 더 높다.

---

3. 장애 격리 및 안정성 확보

클러스터를 분리하면 장애가 한 영역에 국한된다.
Datacenter Cluster에서 애플리케이션 부하가 폭증해도 Monitoring Cluster의 관제 시스템은 영향을 받지 않는다.
Kafka Cluster는 데이터를 임시 저장해 부하나 장애 발생 시에도 안정적으로 전달할 수 있다.

---

4. 운영 효율성과 독립 배포

각 클러스터는 서로 다른 리소스 특성과 운영 주기를 가진다.

• Datacenter Cluster는 CPU/메모리 중심 애플리케이션 리소스를 사용한다.
• Kafka Cluster는 디스크 I/O 중심으로 메시지 스트리밍을 처리한다.
• Monitoring Cluster는 메모리와 쿼리 처리 중심으로 데이터를 분석한다.

독립 클러스터로 구성하면 업그레이드, 확장, 트러블슈팅을 개별적으로 수행할 수 있어 운영 효율성이 높다.

---

5. 확장성과 유연성

로그와 메트릭 양이 폭증할 경우, 클러스터별로 독립적으로 확장 경로를 설계할 수 있다.
Kafka Cluster를 통해 데이터를 여러 Monitoring Cluster로 복제하거나 장기 저장소로 전송하는 것이 용이하다.
클러스터 분리는 데이터 흐름의 안정성과 유연성을 동시에 확보한다.

---

6. 역할과 책임 분리

클러스터 단위로 운영 영역을 분리하면 팀별 책임과 권한을 명확히 구분할 수 있다.
운영팀은 Datacenter Cluster를 관리하고, 데이터팀은 Kafka Cluster를 담당하며, 모니터링팀은 Monitoring Cluster를 운영한다.
이를 통해 권한 오남용, 운영 실수, 장애 확산 위험을 최소화할 수 있다.

---

결론

AWS 환경에서도 단일 클러스터만으로 모든 요구사항을 해결하기는 어렵다.
운영 안정성, 보안, 장애 격리, 확장성, 역할 분리 등 여러 이유로 Datacenter Cluster, Kafka Cluster, Monitoring Cluster를 별도 클러스터로 구성하는 것이 가장 합리적이다.