Confluent Cloud vs. Amazon MSK: Apache Kafka® 비용 및 기능 비교

Self-managed 호스팅 Apache Kafka®에 비해 70% 더 효율적으로 운영하세요

실시간 데이터 파이프라인을 구축하든 AI 에이전트를 구축하든, Kafka는 이상적인 선택입니다. 분산형 설계는 고처리량, 저지연 워크로드를 처리할 수 있도록 구축되었지만, 많은 비용이 소요되는 과도한 프로비저닝이나 중단 위험 없이 대규모의 관리, 보안 및 최적화를 위해서는 심층적인 전문 지식이 요구됩니다.

Apache Kafka®의 원제작자들이 설립한 Confluent는 Kafka를 클라우드에서 최대 70% 더 효율적으로 운영하도록 재설계하는 데 300만 엔지니어링 시간을 투자했습니다. 그 결과, 다음과 같은 특성으로 당사의 완전 관리형 데이터 스트리밍 플랫폼을 지원하는 클라우드 네이티브 Kafka 엔진, Kora가 탄생했습니다.

• 인프라 비용을 절반 이상 절감할 수 있는 서버리스 자동 확장 클러스터

• 리소스 효율이 3배 더 높은 self-managed 단일 테넌트 클러스터

• Self-managed 솔루션 대비 약 50% 단축된 클러스터 지연 시간

• 네트워크 비용을 절감하는 최적화된 라우팅 및 API 통합

오늘날 Kora는 AWS, Google Cloud, Microsoft Azure에서 매일 3조 개 이상의 메시지를 처리하는 30,000개의 Confluent Cloud 클러스터를 운영합니다.

Kafka 비용 웨비나에 등록하기

 

 

Kafka 소유 비용 – MSK 대 Confluent

내부 채택이 증가하고 Kafka의 사용 범위가 확장됨에 따라 팀은 다음에 더 많은 시간과 자원을 투입해야 합니다.

• 클러스터 프로비저닝 계획, 크기 조정 및 관리 

• 소프트웨어 패치 및 업그레이드

• 장애 조치 설계 및 가용성 계획 

• 고위험 거버넌스 및 보안 공백 메우기

• 신뢰성을 위한 계획 및 최적화

• 수동 부하 분산

Kafka의 전체 가치를 실현하려면 상당한 재정적 및 기회 비용이 초래됩니다. 대규모 생산에 도달하는 데 평균 2년 이상이 걸리고, 플랫폼 개발 및 운영 비용으로 300~500만 달러가 소요됩니다. Confluent Cloud와 Amazon MSK는 모두 이 운영 부담의 경감을 약속합니다. 그러나 “관리형” Kafka 서비스는 모두 동일하게 만들어지지 않았으며, 클라우드 서비스 제공업체와 함께 호스팅된 Kafka를 선택하더라도 모든 중요한 작업은 팀이 처리해야 합니다.

이 관리형 Kafka 서비스 비교에서 진정한 관리형 서버리스 Kafka를 사용하여 얼마나 더 많은 작업을 수행하고 비용을 절약할 수 있는지 확인하세요. 257%의 투자 수익률을 선사하는 데이터 스트리밍 플랫폼으로 6개월 내에 투자 비용 회수가 가능합니다.

Confluent Cloud 무료로 사용하기

 

	Confluent Cloud	Amazon MSK
요약	Confluent는 자동화된 기능을 통해 Kafka Cluster와 Connectors 인스턴스의 확장을 위한 대부분의 수동 작업을 줄입니다.	Amazon MSK는 심지어 MSK Serverless 클러스터에도 배포 작업에 대해 제한된 자동화 기능만 제공하기 때문에 여전히 큰 운영 부담이 따릅니다.
자동화된 제품 기능과 수동 작업 및 맞춤형 개발의 비교	Self-managed 토픽 모니터링 모든 클러스터에서 자동화됨: 크기 조정 프로비저닝 작업자 인프라 연결 스트림 처리 인프라 Kafka UI 최신 소프트웨어 패치 업그레이드 인프라 모니터링 REST 프록시 저장 용량 및 관리 0으로 조정 Connectors 클러스터 확장 사용자 지정: 자체 Custom Connectors 사용 *모든 Confluent Cloud 클러스터에서 지원	Self-managed 크기 조정 업그레이드 인프라 모니터링 토픽 모니터링 스토리지 및 용량 관리 클러스터 확장 0으로 조정 사용자 지정: 최신 소프트웨어 패치 REST 프록시 Connectors 자동화: 크기 조정* 프로비저닝 작업자 인프라 연결 스트림 처리 인프라 인프라 모니터링* 업그레이드* 최신 소프트웨어 패치* 클러스터 확장* 0으로 조정* 저장 용량 및 관리* *MSK Serverless 클러스터에서만 지원
선택의 자유	AWS, Google Cloud 및 Microsoft Azure에서 사용 가능	AWS에서만 사용 가능

Confluent Cloud와 Amazon MSK의 관리, 모니터링 및 유지 관리 비교

MSK도 운영상의 격차를 일부 해소해 주지만, 여전히 제한이 많습니다. 호스팅된 Kafka를 자체 관리하거나 사용하면 다음을 포함한 상당한 직간접적 비용이 발생합니다.

• 과도하게 프로비저닝된 클러스터로 인한 높은 인프라 비용 지출: 변동하는 수요를 지원하기 위해 필요한 과도한 프로비저닝, 계산 증가 없이 스토리지 확장 불가, 수동 구성, 리밸런싱, 업그레이드 및 패치로 인한 성능 저하

• 운영 오버헤드 및 제한된 리소스: 프로비저닝, 용량 계획, 업그레이드 및 모니터링에 소요되는 높은 시간 및 리소스 비용과 비즈니스 차별화 비용, Kafka에 숙련된 인재를 채용, 고용 및 유지하는 데 드는 비용

• 예상치 못한 운영 중단: Kafka가 더 많은 사용 사례, 애플리케이션, 데이터 시스템, 팀 및 환경을 아우를수록 많은 비용이 소요되는 다운타임과 보안 침해의 위험이 증가합니다.

이러한 비용이 누적되면 가치 실현 시간이 지연되고 총 소유 비용(TCO)이 증가하며, 예기치 못한 다운타임, 보안 침해, 데이터 손실로 인한 수익 손실 위험이 높아집니다.

운영 부담을 줄이고 자주 발생하는 Kafka 문제를 해결하는 방법에 대해 Confluent Cloud와 Amazon MSK를 비교해 보세요. 

Kafka와 Confluent, MSK를 비교한 백서 읽기

 

 

서비스	Confluent Cloud	Amazon MSK	MSK 서버리스
프로비저닝	셀프 서비스, 주문형. Kafka, Schema Registry 및 Flink용	셀프 서비스, 주문형. Kafka 전용	셀프 서비스, 주문형. Kafka 전용
자동 확장	모든 워크로드에 적합한 크기로 자동 확장되는 서버리스 클러스터	수동 확장	제한된 할당량으로 탄력적으로 확장(200/400MBps)
클러스터 유형	모든 작업 부하 및 사용 사례에 적합한 유연하고 비용 효율적인 클러스터 유형	수동 확장이 필요한 Standard 및 Express 클러스터	MSK Serverless 클러스터는 예측할 수 없는 중요한 작업에 적합한 MSK의 사전 프로비저닝된 클러스터임
Infrastructure as Code(IaC)	제어 계층 및 데이터 계획용	제어 플레인 전용	제어 플레인 전용
인프라 모니터링	선제적 모니터링	수동 모니터링	선제적 모니터링
토픽 모니터링	사전 집계된 메트릭 무료 제공	토픽 수준 메트릭은 추가 비용 발생	기본 모니터링 무료
업그레이드	항상 최신의 안정적인 버전	제한적인 버전 지원	제한적인 버전 지원
소프트웨어 패치	사전 예방적 수정사항 제공	사후 수정사항 제공	사후 수정사항 제공
클러스터 확장	탄력적인 확장성	수동 데이터 리밸런싱	탄력적인 확장성
Connectors 확장	사전 구축 및 완전 관리형	직접 개발 및 관리형	직접 개발 및 관리형

 

Confluent Cloud와 Amazon MSK는 클러스터 크기 조정을 어떻게 간소화하나요?

• Confluent Cloud는 처리량 기반 크기 조정을 사용합니다. 번거로운 성능 테스트를 생략하고, 사용한 만큼 비용을 지불하는 탄력적으로 확장 가능한 0으로 조정되는(scale-to-zero) 클러스터를 통해 인프라 비용을 절감할 수 있습니다.

• MSK는 브로커 기반 크기 조정을 사용합니다. 성능 테스트를 진행하여 브로커 유형과 수를 선택하는 데 시간과 리소스를 할당해야 하며, 자동 확장 한도(하루에 작업 4개)로 인해 추후 복잡한 확장을 해야 하는 필요성을 줄이기 위해 인프라를 과할당해야 합니다.

• MSK Serverless는 처리량 기반 크기 조정을 사용합니다. Kafka Cluster를 Glue Schema Registry 및 Flink와 함께 프로비저닝합니다. Connectors와 Kafka 프록시에 사용자 정의 작업이 필요합니다.

Confluent Cloud 또는 Amazon MSK는 프로비저닝 및 관리를 어떻게 자동화하나요?

• Confluent Cloud는 전체 플랫폼에 대한 주문형 셀프 서비스 프로비저닝을 제공합니다. Schema Registry, Connect 및 Apache Flink®용 Confluent Cloud를 포함한 다른 Confluent Cloud 구성 요소와 함께 Kafka Cluster를 프로비저닝합니다. 또한 Terraform 공급자를 사용하여 클러스터 및 Schema Registry와 같은 제어 계층 리소스와 토픽 및 ACL 같은 데이터 계층 리소스를 자동으로 관리할 수 있습니다.

• Amazon MSK는 주문형 셀프 서비스 프로비저닝을 Kafka 전용으로 제공합니다. MSK Provision과 MSK Serverless 모두에 대해 Connectors 및 Kafka 프록시에 필요한 Glue Schema Registry 및 Flink 사용자 정의 작업과 함께 Kafka 클러스터를 프로비저닝합니다. Terraform은 제어 계층 리소스만 배포하고 관리할 수 있습니다. 데이터 계층 리소스를 관리하려면 사용자 정의 운영자와 프로세스를 구축해야 합니다.

Confluent Cloud나 Amazon MSK는 기본적으로 모니터링 기능을 제공하나요?

• Confluent Cloud는 선제적 인프라 모니터링과 토픽 모니터링을 위한 무료 집계 메트릭을 제공합니다. Kafka 전문가의 선제적 클러스터 모니터링 및 유지 관리를 통해 앱 개발에 계속 집중할 수 있습니다. 무한 스토리지로 디스크 공간 관련 장애의 위험을 줄이면서 클러스터 수준의 스토리지 사용 사례를 무제한으로 지원합니다. 추가 비용 없이 토픽과 클러스터 수준에서 사전 집계된 가장 중요한 메트릭을 이용할 수 있으며, Metrics API를 사용하여 사용자가 선택한 타사 모니터링 서비스를 메트릭과 함께 이용할 수 있습니다.

• MSK Provisioned는 추가 비용으로 수동 인프라 모니터링과 토픽 수준 메트릭을 제공합니다. CPU 사용률과 같은 브로커 메트릭을 모니터링할 리소스를 할당하여 클러스터 성능을 선제적으로 관리합니다. 스토리지 용량으로 인한 장애를 방지하기 위해 디스크 공간을 모니터링하고 관련 경보를 생성합니다. 사용량 전체를 모니터링하기 위해 브로커별 및 토픽별 메트릭을 이용 및 수동 집계하는 유료 서비스를 제공합니다.

• MSK Serverless 클러스터는 사전 인프라 모니터링과 무료 기본 토픽 모니터링을 제공합니다. 선제적 클러스터 모니터링 및 유지 관리를 통해 앱 개발에 집중할 수 있습니다. 무한 스토리지로 디스크 공간 관련 장애의 위험을 줄이면서 클러스터 수준의 스토리지 사용 사례를 무제한으로 지원합니다. AWS 제품 다수를 모니터링하는 별도의 도구인 CloudWatch 콘솔을 사용하여 토픽 수준 메트릭을 무료로 이용할 수 있습니다. 파티션 수준 메트릭 또는 Datadog 및 Dynatrace와 같은 인기 모니터링 도구와의 기본 통합은 포함되지 않습니다.

Confluent Cloud와 Amazon MSK에서 Kafka 유지 관리는 어떻게 진행되나요?

• Confluent Cloud는 항상 최신 안정 버전으로 업데이트되며, 버그와 취약점은 선제적 및 적극적으로 수정됩니다. Kafka, 버그 수정, 패치 등을 포함하여 99.99%의 SLA가 제공됩니다.

• Amazon MSK는 버전 지원 및 사후 수정에 제한이 있습니다. MSK는 Kafka 릴리스 중 일부만 지원하며, 예정된 Apache가 릴리스된 다음에 AWS가 지원을 추가하면 수동으로 업그레이드를 트리거해야 합니다. MSK는 99.9% SLA와 일부 버전의 Kafka만 제공합니다. Kafka 소프트웨어로 인한 장애는 MSK 가동 시간 SLA에 포함되지 않습니다. 릴리스가 일부만 지원되면 취약점 수정을 사후에 대응하는 방식으로 진행할 수밖에 없습니다. MSK Serverless 클러스터는 무중단 롤링 업그레이드의 일환으로 일체의 개입이 없습니다. MSK는 Kafka 릴리스 중 일부만 지원하며 최신 버전은 알려지지 않았고 완전히 추상화된 상태입니다.

Confluent Cloud와 Amazon MSK는 클러스터를 어떻게 확장하고 축소하나요?

• Confluent Cloud는 클러스터에 리소스를 자동으로 확장하고 할당합니다. Confluent는 처리량이 GBps 규모로 증가하거나 감소할 때 전적으로 탄력적인 자동 확장 클러스터를 통해 소비자 지연을 관리하여 인프라 비용을 절반 이상 절감합니다. 클러스터 컴퓨팅의 과도한 프로비저닝을 제거하고 무한 스토리지를 통해 보존 한도를 직접 설정하세요.

• Amazon MSK에서는 프로비저닝된 클러스터와 자체 개발된 self-managed Connectors에 대해 수동 데이터 재조정이 필요합니다. 브로커가 클러스터에 추가된 다음에 Cruise Control을 사용하는 수동 데이터 재조정 프로세스가 필요합니다. 계층형 스토리지를 사용할 수 있지만 브로커당 최대 16TB까지 확장 가능한 EBS 볼륨이 여전히 필요하며, 브로커는 30개로 제한됩니다. AWS의 명시적인 기술 지원 없이 자체 구축 또는 커뮤니티 구축 Connectors를 활용합니다. 기본 MSK Connect 인프라만 제공됩니다.

• MSK Serverless 클러스터는 제한된 할당량 안에서 탄력적으로 확장할 수 있으며 self-managed Connectors가 필요합니다. 자동 클러스터 재조정을 통한 0~200MBps 범위의 손쉬운 확장 및 축소를 통해, 무한 스토리지를 사용하여 토픽 보존을 늘릴 때 클러스터 과잉 프로비저닝을 제거합니다.

 

 

Confluent의 완벽한 데이터 스트리밍 플랫폼과 AWS에서 호스팅되는 Kafka 비교

Confluent가 업계 전반에서 신뢰받는 이유는 무엇일까요? Confluent는 MSK의 기능을 뛰어넘는 엔터프라이즈급 기능을 통해 완전한 데이터 스트리밍 플랫폼을 제공하고, 수많은 스트리밍 사용 사례를 활용할 수 있도록 지원합니다.

eBook 다운로드

 

Apache Kafka® 원제작자들이 설립

Kafka 전문 지식 지원 시간

Confluent가 제공하는 Apache Kafka® 커밋 비율

Confluent Cloud에서 실행 중인 클러스터

 

 

서비스	Confluent Cloud	Amazon MSK	MSK 서버리스
Kafka UI	완전 관리형	제공되지 않음	제공되지 않음
인증	광범위한 인증	광범위한 인증	제한된 인증
암호화	종단 간 암호화	지원되지 않음	지원되지 않음
Connectors	사전 구축 및 완전 관리형	맞춤형 구축 및 self-managed	맞춤형 구축 및 self-managed
데이터 거버넌스	완전 관리형	제공되지 않음	제공되지 않음
스트림 처리	완전 관리형	복잡성이 추가됨	복잡성이 추가됨
테이블로 스트림(Streams-to-Tables)을 위한 Zero-ETL	이제 Tableflow로 사용할 수 있음	제공되지 않음	제공되지 않음

Confluent Cloud 및 Amazon MSK는 어떤 엔터프라이즈급 보안 기능을 제공하나요?

• Confluent Cloud는 모든 클러스터 유형에 대해 광범위한 인증을 지원합니다. 인증된 클라이언트만 클러스터에 접근할 수 있습니다. Confluent Cloud는 SASL/PLAIN과 SASL/OAUTHBEARER(미리 보기)를 인증 메커니즘으로 지원합니다. Client-Side Field Level Encryption은 클라이언트의 민감한 데이터를 암호화하여 클라이언트와 서버에서 모두 보호하고, 생산자와 소비자 사이에서 데이터가 오가는 중에도 보안을 유지하여 보안을 강화합니다.

• Amazon MSK는 MSK Provisioned 클러스터에 대해 광범위한 인증을 지원하고, MSK Serverless에 대해 제한된 인증을 지원하며, 암호화를 미지원합니다. 모든 MSK 클러스터가 인증된 액세스만 허용하지만, MSK Provisioned 클러스터는 SASL/SCRAM, mTLS 및 IAM을 인증 메커니즘으로 지원하며, MSK Serverless 클러스터는 IAM만을 인증 메커니즘으로 지원합니다.

Confluent Cloud 및 Amazon MSK는 어떤 종류의 Kafka Connectors를 제공하나요? 

• Confluent Cloud는 120개가 넘는 사전 구축된 Connectors와 80개가 넘는 완전 관리형 Connectors를 제공합니다. 사전 구축된 완전 관리형 구성 요소 또는 Confluent 지원이 적용되는 사전 구축된 구성 요소로, 120개 이상의 사용 가능한 Connectors로 지속적으로 성장하는 포트폴리오를 통해 온프레미스와 퍼블릭 클라우드 전반에서 Confluent와 최신 및 레거시 서비스를 쉽고 완벽하게 통합합니다.

• Amazon MSK는 맞춤 구축형 self-managed Connectors만 지원합니다. 자체 Connectors를 구축하거나 커뮤니티에서 개발한 소규모 Connectors 세트에서 배포할 수 있는 옵션으로 Kafka를 사용하는 데이터 서비스와 통합합니다. 맞춤형으로 구축된 Connectors에는 유지 관리가 필요하며 Kafka 커뮤니티 Connectors에는 AWS 기술 지원이 적용되지 않습니다.

Confluent Cloud와 Amazon MSK는 어떤 거버넌스 기능을 제공하나요?

• Confluent Cloud의 Stream Governance는 데이터 가용성, 무결성, 보안을 관리하는 완전 관리형 서비스 제품군을 제공합니다. Stream Governance는 Stream Lineage, Stream Catalog, Stream Quality라는 세 가지 주축을 기반으로 합니다. Data Quality Rules는 고품질 스트림을 보장합니다.

• Amazon MSK 이용 시 Kafka 토픽 데이터 관리를 위해 지원이 없는 무료 커뮤니티 도구 또는 유료 타사 도구를 사용해야 합니다. MSK에는 계보 또는 카탈로그 기능이 없습니다. MSK와 MSK Serverless는 데이터 품질을 위해 Confluent 및 Glue Schema Registry와 통합합니다. 그러나 데이터 producers가 스키마 진화 제어에 Schema Registry를 사용하게 하는 브로커 측 스키마 검증, 데이터 스트림 안에서 개별 필드 값을 검증하고 제한하는 Data Quality Rules, 여러 환경에서 스키마를 동기화하는 스키마 연결이 부족합니다.

Confluent Cloud와 Amazon MSK는 어떤 스트림 처리 기능을 제공하나요?

• Confluent는 서버리스 스트림 처리를 Apache Flink®용 Confluent Cloud와 함께 제공합니다. 사용자는 간단히 Flink 클러스터를 생성하고 SQL과 유사한 언어를 사용하여 스트림 처리를 시작할 수 있습니다. 또한 Confluent Cloud는 완전 관리형 AWS Lambda 서비스를 지원합니다.

• Amazon MSK는 Flink를 사용한 스트림 처리를 제공하지만 복잡성이 증가합니다. MSK는 강력하지만 복잡성이 증가하는 Apache Flink용 관리형 서비스(MSF)를 지원합니다. 사용자가 네트워킹을 구성하고, MSF Studio 노트북을 생성하고, SQL 유사 구문을 사용하여 작업을 작성하고, 코드를 테스트 및 패키징하여 S3에 업로드하고, 업로드된 코드로 MSF 애플리케이션을 생성해야 한다는 점에서 강력하지만 더 복잡합니다.

Confluent를 통한 하이브리드 및 멀티클라우드와 AWS 벤더 종속성의 비교

클라우드 네이티브 데이터 스트리밍을 통해 확장할 수 있도록 구축하세요. 그리고 하나의 클라우드 서비스에 얽매이지 마세요. Amazon MSK(AWS에서만 사용 가능)와 달리, Confluent는 진정으로 유연한 배포 기능을 제공하여 온프레미스, 하이브리드 및 멀티클라우드 아키텍처의 모든 조합을 지원하며, 원활한 데이터 상호 운용성을 보장합니다.

• AWS, Microsoft Azure, Google Cloud에서 일관된 완전 관리형 서비스 제공

• Confluent Platform을 사용한 클라우드 네이티브, self-managed 데이터 스트리밍

• WarpStream BYOC을 통한 제어 및 비용 효율성

또한, Cluster Linking은 실시간으로 모든 환경 간에 데이터를 동기화하는 지속적 브리지를 제공합니다.

 

 

맞춤형 비용 절감 견적을 받아보세요

Confluent Cloud와 Amazon MSK의 맞춤형 비용 비교를 통해 절감 효과를 확인하세요. 문의 양식에 정보를 기입해서 보내주시면 저희가 연락을 드려 Confluent를 통한 비용 절감 효과 계산을 도와드리고 궁금하신 점에 답변해 드리겠습니다.

문의하기

 

아직 영업팀과 상담할 준비가 되지 않으셨나요? 관련 리소스를 탐색하세요.

• 백서: Apache Kafka®와 Amazon MSK의 실제 비용 파헤치기
• 블로그 게시물: 책임 경감 효과가 없는 호스팅형 Kafka
• 경쟁 개요: Confluent Cloud vs. Amazon MSK
• eBook: 클라우드를 위해 재창조된 Apache Kafka®

 

Confluent Cloud와 Amazon MSK의 비교: FAQ

Confluent Cloud가 Amazon MSK보다 더 비용 효율적인가요?

예, Confluent Cloud는 다음을 통해 비용을 절감하므로 Amazon MSK보다 더 비용 효율적입니다. 

• 인프라 비용 절감: Confluent Cloud의 서버리스, 클라우드 네이티브 아키텍처를 선택하면 MSK의 노드 기반 요금제에서 흔히 발생하는 오버프로비저닝의 필요성이 사라집니다. 무한 스토리지와 계층형 스토리지 같은 기능은 컴퓨팅과 스토리지를 분리하여 인프라 비용을 더욱 줄여줍니다. 예를 들어 SecurityScorecard는 Confluent Cloud로 마이그레이션하여 인프라와 운영 비용을 100만 달러 이상 아꼈습니다.

• 운영 오버헤드 감소: 용량 관리, 확장, 업그레이드 같은 복잡하고 시간이 많이 드는 운영 작업을 Confluent Cloud로 오프로드하면 귀중한 엔지니어링 자원을 인프라 관리가 아닌 혁신에 투입할 수 있습니다. Confluent의 한 고객은 Kafka를 직접 관리하려면 직원을 적어도 10명은 더 고용해야 했을 것이라 말했습니다.

• 다운타임 및 위험 최소화: Confluent Cloud의 프로덕션 워크로드 가동 시간 SLA는 99.99%입니다. Confluent의 SLA는 MSK(99.9% SLA. Kafka 장애 및 고객 구성 오류 제외)보다 신뢰성이 높고, 다운타임과 관련된 간접비를 크게 줄여줍니다.

Confluent Cloud를 선택하면 self-managed Kafka 비용을 최대 40~70% 절감할 수 있습니다.

Confluent Cloud와 Amazon MSK의 주요 비용 요인은 무엇인가요?

Confluent Cloud 비용의 주요 요인은 다음과 같습니다.

• 사용량 기반 소비: Confluent Cloud는 프로비저닝된 인프라가 아니라 실제 사용량(예: 처리량)을 기준으로 요금이 책정되는 종량제입니다. 종량제 방식을 택하면 오버프로비저닝되고 활용도가 낮은 클러스터를 두어야 할 필요가 없어, Confluent 자체 관리형에서 완전 관리형과 비교해 인프라 비용이 두 배 가량 증가하곤 하는 것을 방지합니다.

• 관리형 수평 확장: Kafka용 Elastic Confluent(eCKU)는 과금을 위한 Confluent Cloud의 수평적 확장 단위입니다. eCKU는 워크로드에 따라 자동으로 확장 및 축소됩니다. 이 비용에는 인프라 및 확장부터 모니터링 및 지원에 이르는 플랫폼 관리 전체 비용이 포함되어 있으며, 이는 고객이 별도로 부담해야 하는 운영 및 지원 비용을 줄이거나 없애는 방향으로 설계되었습니다.

Amazon MSK 비용의 주요 요인은 다음과 같습니다.

• 인프라 비용 증가: MSK는 노드 기반 요금제를 사용하여 사용자가 프로비저닝된 컴퓨팅과 스토리지에 대한 비용을 지불해야 하며, 이는 종종 피크 부하를 처리하기 위한 오버프로비저닝으로 이어집니다. 네트워킹, 특히 가용성 영역 간(cross-AZ) 트래픽은 전체 인프라 비용의 80~90%를 차지할 정도로 막대한 간접비를 초래할 수 있습니다.

• 자체 관리형 운영 및 관리: MSK는 완전 관리형 Kafka 서비스가 아니기 때문에 크기 조정, 확장, 파티션 재조정, 패치 및 모니터링과 같은 수동 작업에 상당한 엔지니어링 리소스가 필요합니다. Kafka 전문 인력을 고용하고 유지하는 비용도 여기에 포함됩니다.

• 맞춤 개발 및 유지 관리: MSK 선택 시 강도 높은 맞춤 플랫폼 개발 및 유지 관리가 필요하며, 이를 생산에 도입하는 데 2년 이상이 소요될 수 있으며, 비용은 3~5백만 달러 이상이 들 수 있습니다. MSK는 필수 구성 요소가 기본적으로 제공되는 완전한 플랫폼이 아니라 호스팅되는 서비스이기 때문에, 엔지니어링 팀이 개발자 도구, DevOps 자동화, 안정성 및 재해 복구를 위한 인프라 개선, 모니터링, 통합, 보안 제어, 거버넌스를 위한 자체 솔루션을 구축하고 유지하는 데 귀중한 시간과 자원을 투입해야 합니다.

• 예기치 않은 다운타임과 사업상의 위험 증가: MSK의 99.9% SLA에는 기본 Kafka 소프트웨어 장애와 고객의 구성 오류로 인한 장애가 포함되어 있지 않습니다. 그래서 고객은 대규모 중단으로 쉽게 이어질 수 있는 장애를 고객이 직접 해결해야 합니다. 스토리지 제한, 수동 확장 오류, 미해결 버그로 인한 가동 중단 리스크는 매출 손실과 평판 손상 등의 막대한 간접비로 이어질 수 있습니다.

MSK Serverless와 Confluent Cloud의 장단점은 무엇인가요?

Confluent Cloud의 장단점은 다음과 같습니다.

• 장점: Confluent Cloud는 용량 계획 및 탄력적 확장(GBps+까지)에서 업그레이드 및 모니터링에 이르기까지 모든 운영 측면을 자동화하는 완전한 서버리스 경험을 제공합니다.

• 장점: Confluent Cloud는 핵심 Kafka를 훨씬 뛰어넘어 120개가 넘는 Connectors로 구성된 풍부한 에코시스템, 고급 스트림 처리를 위한 서버리스 Flink, 그리고 엔터프라이즈급 Stream Governance 제품군을 제공합니다.

• 장점: Confluent Cloud는 비용 효율적인 자동 확장 및 사용량 기반 소비를 통해 상당한 비용 절감을 제공하며, 이를 통해 과도한 프로비저닝 및 저활용 클러스터를 방지하고 인프라 비용을 50% 이상 절감합니다. 또한 3년간 100만 달러의 개발 및 운영 비용을 제거하여 self-managed Kafka에 비해 TCO를 40~70% 절감하며, 99.99%의 가동 시간 SLA로 비즈니스 위험을 줄입니다.

• 단점: 소규모 팀, 예측 가능한 워크로드가 있는 프로젝트 또는 이미 자체적으로 Kafka 전문성을 보유한 조직에서는 Confluent의 완전 관리형 서비스와 고급 기능이 명확한 초기 비용 이점을 제공하지 않을 수 있습니다.

MSK Serverless의 장단점은 다음과 같습니다.

• 장점: MSK Serverless는 선제적 프로비저닝을 통해 MSK의 일부 운영 문제를 해결합니다.

• 장점: MSK Serverless는 수동으로 재조정할 필요 없이 주어진 할당량에 따라 탄력적으로 확장할 수 있습니다.

• 장점: MSK Serverless는 MSK Standard 브로커에 요구되는 수동 구성 없이 무제한 스토리지(파티션별 할당량 포함)를 제공합니다.

• 단점: MSK Serverless는 수신 200MBps, 송신 400MBps의 엄격한 처리량 제한이 있으며, 이를 초과하는 워크로드에 대해서는 업그레이드 경로가 없습니다.

• 단점: MSK Serverless에는 풍부한 Connectors 에코시스템, 통합 스트림 처리(예: Flink), 포괄적인 엔터프라이즈급 보안 및 거버넌스 도구 등 업무상 중요한 구성 요소가 많이 부족합니다.

• 단점: MSK Serverless는 MSK Provisioned와 동일하게 SLA가 99.9%로 약하며, 이는 Kafka 관련 장애를 완벽히 다루지 못합니다.

• 단점: 모든 MSK 제품과 마찬가지로 MSK Serverless는 멀티클라우드를 지원하지 않으며 AWS 에코시스템에 종속됩니다.

Confluent Cloud는 MSK와 비교하여 어떻게 처리량을 자동으로 확장하나요?

Confluent Cloud는 0에서 GBps까지 실제로 탄력적이고 자동화된 확장을 제공하는 반면, Amazon MSK의 탄력적 확장 기능은 보다 제한적이고 수동적입니다.

• Confluent Cloud는 자동화되고 탄력적인 완전 관리형 확장을 제공합니다. 클러스터를 0에서 GBps+까지 자동으로 확장 및 축소하므로 중단 없이 수요를 충족합니다. 클라우드 네이티브 Kora 엔진은 지능형 제어 계층과 자체 조정 알고리즘을 사용하여 용량을 관리하고 파티션을 재조정하며, 클러스터를 과도하게 프로비저닝하거나 활용도가 낮은 클러스터를 제거할 필요가 없게 만들어서 서비스 중단을 예방합니다. 결과적으로 고객은 인프라 비용을 50% 이상 절감할 수 있습니다.

• MSK 프로비저닝의 표준 클러스터는 수동으로 크기 조정, 확장, 재조정이 필요합니다. 브로커를 추가하여 확장을 할 수는 있지만 축소가 쉽지 않으며, 언제라도 과잉 프로비저닝된 클러스터가 여럿 존재할 가능성이 높습니다. 저장 용량을 수정하는 데는 6시간에서 24시간 정도가 걸릴 수 있습니다. MSK 프로비저닝의 Express 클러스터는 확장 및 재조정 속도가 더 빠르지만 마찬가지로 수동 작업입니다.

• MSK Serverless는 자동 확장을 일부 제공하지만 할당량 한도가 낮습니다(최대 200MBps 인그레스 및 400MBps 이그레스). 이 할당량을 초과하여 업그레이드하려면 다른 제품으로 전환하는 수밖에 없습니다.

Confluent와 MSK의 클러스터 프로비저닝 속도는 어떻게 다른가요?

Confluent Cloud는 몇 분 안에 클러스터를 프로비저닝할 수 있는 반면, Amazon MSK 클러스터를 프로비저닝하는 데 30분에서 1시간 이상 걸릴 수 있습니다.

Confluent Cloud는 MSK보다 더 안정적이고 성능이 좋은가요?

예, Confluent Cloud는 Amazon MSK보다 더 안정적이고 성능이 뛰어나도록 설계되었으며, MSK에 비해 계획되지 않은 가동 중지 위험을 크게 낮춰 줍니다.

• Confluent의 Kora 엔진은 지속적인 모니터링, 성능 저하된 노드 사전 교체, 자동 재조정을 통해 기본 복원력을 제공하여 운영자의 개입 없이 가용성을 유지합니다. MSK에는 이러한 기본 자가 복구 기능이 없기 때문에 장애가 발생한 브로커를 고객이 수동으로 식별하고 교체해야 합니다.

• Confluent Cloud는 Kafka 관련 장애를 비롯한 모든 구성 요소를 포함해 99.99% 가동 시간 SLA를 제공합니다. 이는 다운타임이 연간 최대 0.876시간이라는 의미입니다. Amazon MSK는 99.9% SLA(연간 최대 8.76시간의 가동 중지 시간)를 제공하지만 여기에는 기본 Apache Kafka 또는 Zookeeper 소프트웨어로 인한 장애가 명시적으로 제외되어 있고 이러한 중대한 문제를 해결할 책임은 고객에게 있으며, 이로 인해 MSK 고객이 실제로 경험하는 연간 최대 가동 중지 시간이 크게 늘어날 수 있습니다.

Confluent Cloud와 Amazon MSK 중 어떤 플랫폼이 더 강력한 개발자 도구를 제공하나요?

Confluent Cloud는 Amazon MSK보다 훨씬 더 강력하고 포괄적인 개발자 도구를 제공합니다.

• Confluent Cloud는 개발자가 클러스터 및 Schema Registry 같은 제어 계층 리소스와 토픽 및 ACL 같은 데이터 계층 리소스를 모두 관리할 수 있는 강력한 Terraform 공급자를 제공합니다. 이렇게 하면 인프라 배포를 코드로 완전히 자동화할 수 있습니다. Amazon MSK는 Terraform 지원이 제어 계층 리소스만 관리할 수 있기 때문에 IaC 기능이 더 제한적입니다. 데이터 계층 리소스를 관리하려면 맞춤형 운영자와 프로세스를 구축해야 합니다.

• Confluent Cloud는 포인트 앤 클릭 작업과 자동화를 위한 다양한 API 세트를 제공합니다. 또한 개발자들이 Kafka Cluster와 데이터 스트림을 쉽게 관리하고 모니터링할 수 있는 사용자 친화적이고 직관적인 클라우드 UI를 제공합니다. MSK에는 전용 Kafka UI가 없어, 개발자들이 MSK의 API를 기반으로 자신만의 도구를 구축해야 할 때가 많습니다. 예를 들어 MSK에는 Confluent에서 제공하는 비Java 클라이언트를 위한 네이티브 REST Proxy가 없습니다.

• Confluent Cloud는 다국어 클라이언트 개발을 지원하며 C/C++, Go, Python, .NET을 포함한 여러 비Java 언어에 대한 클라이언트 라이브러리를 제공합니다. 사용자는 Confluent Cloud 콘솔에서 필요한 구성 요소들을 직접 생성하여(클러스터 자격 증명, API 키 포함) 클라이언트 애플리케이션 코드에 붙여넣을 수 있습니다. Amazon MSK도 비Java 클라이언트를 지원하지만 인증 및 권한 부여를 위해 클라이언트를 설정하고 구성할 때 MSK와 상호 작용하게 하려면 추가 작업이 필요합니다.

Confluent Cloud는 Amazon MSK보다 더 나은 지원을 제공하나요?

예, Confluent는 고객에게 세계 최고의 Kafka 전문가의 지침을 제공합니다. Confluent는 Kafka를 처음 만든 공동 제작자들이 설립한 기업으로서, 수백만 시간의 Kafka 경험을 보유한 구성원들이 지원과 전문 서비스를 제공합니다. MSK 지원은 제한적이며 Kafka에 있어 지식의 깊이가 다릅니다. 

Connectors 및 스키마 관리 관련 기능은 어떻게 다른가요?

Confluent Cloud는 120개 이상의 사전 구축된 Connectors와 80개 이상의 완전 관리형 Connectors를 제공하여 AWS 에코시스템 내부 및 외부의 다양한 인기 데이터 소스 및 싱크와 즉각적으로 통합할 수 있습니다. 반면 Amazon MSK는 Connectors 지원이 매우 제한적입니다. 10개 미만의 직접 또는 '반지원' 통합을 제공하며, 주로 기본 연결 인프라만 제공하기 때문에 사용자가 Connectors를 직접 가져와서 관리하고 유지해야 합니다. 이는 추가적인 운영 부담과 비용으로 이어집니다. 실제로 Confluent는 기본 AWS 서비스에 대해 즉각적인 완전 관리형 연결을 Amazon MSK보다 많이 제공합니다.

Confluent Cloud는 Stream Governance라는 포괄적인 완전 관리형 제품군을 통해 Schema Registry, Data Portal, Stream Lineage, Data Quality Rules를 제공합니다. 브로커 측 Schema Validation 및 개인 식별 정보(PII)가 포함된 데이터에 태그를 지정하는 기능을 통해 데이터 스트림을 검색 가능하고, 신뢰할 수 있으며, 안전하게 보호할 수 있습니다. Amazon MSK는 AWS Glue Schema Registry와 통합되지만 스키마 검증, 데이터 계보, 데이터 카탈로그와 같은 완전한 거버넌스 도구 세트가 없습니다.

Confluent Cloud는 멀티클라우드 배포를 지원하나요?

네, Confluent Cloud는 멀티클라우드 배포를 지원합니다. Confluent Cloud는 멀티클라우드 및 하이브리드 환경 모두를 위해 설계되었지만 Amazon MSK는 AWS 전용 서비스입니다. Confluent 고객은 3대 퍼블릭 클라우드에서 완전 관리형 Kafka 서비스를 사용할 수 있으며 Cluster Linking 기능을 통해 클라우드들을 오가며 데이터를 복제할 수 있습니다.