Apache Kafka®️ 비용 절감 방법 및 최적의 비용 설계 안내 웨비나 | 자세히 알아보려면 지금 등록하세요

로그인 문의하기

데모 보기무료로 시작하기
데모 보기무료로 시작하기

Confluent Cloud vs. Amazon MSK

Apache Kafka® 투자의 미래에 대비하고 총 소유 비용을 줄이는 것은 필수적이며, 많은 이들이 이런 이유에서 관리형 Kafka 서비스를 선택합니다. Confluent Cloud와 Amazon MSK에 대한 심층적인 비교 자료를 보면서 두 솔루션의 기능, 확장성, 기술 지원이 어떻게 다른지 알아보세요.

Kafka의 원조 공동 제작자가 창립한 Confluent는 온프레미스에 있는 데이터, 여러 클라우드에 걸쳐있는 데이터를 모두 스트리밍, 연결, 관리, 처리할 수 있는 완벽한 데이터 스트리밍 플랫폼을 제공합니다. Confluent의 클라우드 네이티브 Kafka 엔진 Kora는 Confluent Cloud에서 원활한 완전 관리형 경험이 이루어지도록 재설계되었습니다. 이 클라우드는 시작, 확장 등 다양한 단계에 있는 사용자의 데이터 스트리밍 프로젝트를 지원합니다.

Confluent Cloud 무료로 사용하기클라우드 네이티브 Kafka 관련 웨비나 시청
Value for Investment
계획
클라우드 네이티브
자체 관리형
맞춤 설정/지원 없음

서비스

Confluent Cloud

Amazon MSK

MSK 서버리스

크기 조정

처리량 기반

  • 0에서 출발하는 확장형 클러스터를 통해 프로비저닝된 인프라 대신 사용량에 대해서만 비용을 지불하면서 번거로운 성능 테스트를 생략하고 인프라 비용 절감

브로커 기반

  • 성능 테스트를 진행해 브로커 유형과 수를 선택하는 데 시간과 리소스 할당
  • 자동 확장 한도(하루에 작업 4개)로 인해 추후 복잡한 확장을 해야 하는 필요성을 줄이기 위해 인프라 과할당

처리량 기반

  • 수신 200MBps 및 송신 400MBps까지 지원하며 탄력적으로 확장

Confluent Cloud

처리량 기반

  • 0에서 출발하는 확장형 클러스터를 통해 프로비저닝된 인프라 대신 사용량에 대해서만 비용을 지불하면서 번거로운 성능 테스트를 생략하고 인프라 비용 절감

Amazon MSK

브로커 기반

  • 성능 테스트를 진행해 브로커 유형과 수를 선택하는 데 시간과 리소스 할당
  • 자동 확장 한도(하루에 작업 4개)로 인해 추후 복잡한 확장을 해야 하는 필요성을 줄이기 위해 인프라 과할당

MSK 서버리스

처리량 기반

  • 수신 200MBps 및 송신 400MBps까지 지원하며 탄력적으로 확장
배포
클라우드 네이티브
자체 관리형
맞춤 설정/지원 없음

서비스

Confluent Cloud

Amazon MSK

MSK 서버리스

프로비저닝

셀프 서비스, 주문형

  • Kafka 클러스터를 Schema Registry, Connect, Flink 등 다른 Confluent Cloud 구성 요소와 함께 프로비저닝

Kafka 전용 셀프 서비스, 주문형

  • Kafka 클러스터를 Glue Schema Registry 및 Flink와 함께 프로비저닝
  • 커넥터와 Kafka 프록시에 필요한 사용자 정의 작업

Kafka 전용 셀프 서비스, 주문형

  • Kafka 클러스터를 Glue Schema Registry 및 Flink와 함께 프로비저닝
  • 커넥터와 Kafka 프록시에 필요한 사용자 정의 작업
Infrastructure as Code(IaC)

제어 계층과 데이터 계층

  • 통합된 경험을 통해 다양한 환경에서 Confluent 리소스를 배포하고 관리합니다. Terraform 공급자를 활용해 Clusters 및 Schema Registry 같은 제어 계층과 Topics 및 ACL 같은 데이터 계층 리소스를 모두 관리합니다.

제어 계층 전용

  • Terraform은 제어 계층 리소스만 배포하고 관리할 수 있습니다. 데이터 계층 리소스를 관리하려면 사용자 정의 운영자와 프로세스를 구축해야 합니다.

제어 계층 전용

  • Terraform은 제어 계층 리소스만 배포하고 관리할 수 있습니다. 데이터 계층 리소스를 관리하려면 사용자 정의 운영자와 프로세스를 구축해야 합니다.

Confluent Cloud

셀프 서비스, 주문형

  • Kafka 클러스터를 Schema Registry, Connect, Flink 등 다른 Confluent Cloud 구성 요소와 함께 프로비저닝

제어 계층과 데이터 계층

  • 통합된 경험을 통해 다양한 환경에서 Confluent 리소스를 배포하고 관리합니다. Terraform 공급자를 활용해 Clusters 및 Schema Registry 같은 제어 계층과 Topics 및 ACL 같은 데이터 계층 리소스를 모두 관리합니다.

Amazon MSK

Kafka 전용 셀프 서비스, 주문형

  • Kafka 클러스터를 Glue Schema Registry 및 Flink와 함께 프로비저닝
  • 커넥터와 Kafka 프록시에 필요한 사용자 정의 작업

제어 계층 전용

  • Terraform은 제어 계층 리소스만 배포하고 관리할 수 있습니다. 데이터 계층 리소스를 관리하려면 사용자 정의 운영자와 프로세스를 구축해야 합니다.

MSK 서버리스

Kafka 전용 셀프 서비스, 주문형

  • Kafka 클러스터를 Glue Schema Registry 및 Flink와 함께 프로비저닝
  • 커넥터와 Kafka 프록시에 필요한 사용자 정의 작업

제어 계층 전용

  • Terraform은 제어 계층 리소스만 배포하고 관리할 수 있습니다. 데이터 계층 리소스를 관리하려면 사용자 정의 운영자와 프로세스를 구축해야 합니다.
운영
클라우드 네이티브
자체 관리형
맞춤 설정/지원 없음

서비스

Confluent Cloud

Amazon MSK

MSK 서버리스

인프라 모니터링

선제적 모니터링

  • Kafka 전문가의 선제적 클러스터 모니터링 및 유지 관리를 받으며 앱 개발에 집중
  • Infinite Storage를 통해 디스크 공간 관련 장애의 위험을 줄이면서 클러스터 수준의 스토리지 사용 사례를 무제한 지원

수동 모니터링

  • CPU 사용 등의 브로커 메트릭 모니터링에 리소스를 할당하여 클러스터 성능 선제적 관리
  • 스토리지 용량으로 인한 장애를 방지하기 위해 디스크 공간 모니터링 및 알림 생성

선제적 모니터링

  • 선제적 클러스터 모니터링 및 유지 관리를 받으며 앱 개발에 집중
  • Infinite Storage를 통해 디스크 공간 관련 장애의 위험을 줄이면서 클러스터 수준의 스토리지 사용 사례를 무제한 지원
토픽 모니터링

사전 집계된 무료 메트릭

  • 추가 비용 없이 토픽과 클러스터 수준에서 사전 집계된 가장 중요한 메트릭 이용. Metrics API를 사용하여, 사용자가 선택한 타사 모니터링 서비스를 메트릭과 함께 이용

토픽 수준 메트릭 - 추가 비용

  • 사용량 전체를 모니터링하기 위해 브로커별 및 토픽별 메트릭을 이용 및 수동 집계하는 유료 서비스

기본 모니터링 무료

  • AWS 제품 다수를 모니터링하는 별도의 도구인 CloudWatch 콘솔을 사용하여 토픽 수준 메트릭 무료 이용. 파티션 수준 메트릭 또는 Datadog 및 Dynatrace와 같은 인기 모니터링 도구와의 기본 통합 미포함
업그레이드

항상 안정적인 최신 버전

  • Apache 릴리스 일정에 선행하는 전략적 패치가 포함된 안정적인 최신 Kafka 버전으로의 개입 없는 롤링 업그레이드

제한적 버전 지원

  • AWS가 예정된 Apache 릴리스 후에 업그레이드에 대한 지원을 추가하면 수동으로 업그레이드를 트리거. MSK는 Kafka 릴리스 일부만 지원

제한된 버전 지원

  • 무중단 롤링 업그레이드의 일환으로 일체의 개입 없음. MSK는 Kafka 릴리스 중 일부만 지원하며 최신 버전은 알려지지 않았고 완전히 추상화된 상태
소프트웨어 패치

선제적 수정

  • 알려진 버그와 취약점을 선제적으로 해결하고 가장 복잡한 Kafka 문제까지 해결해주는 Kafka 전문가의 지원을 통해 신뢰할 수 있게 안정적으로 스트리밍

사후 수정

  • MSK는 Kafka의 일부 버전만 제공하며, Kafka 소프트웨어로 인한 장애는 MSK 가동 시간 SLA에 포함되지 않습니다. 일부 릴리스를 채택하면, 취약점을 사후에 수정하는 방식이 강제됩니다.

사후 수정

  • MSK는 Kafka의 일부 버전만 제공하며, Kafka 소프트웨어로 인한 장애는 MSK 가동 시간 SLA에 포함되지 않습니다. 일부 릴리스를 채택하면, 취약점을 사후에 수정하는 방식이 강제됩니다.

Confluent Cloud

선제적 모니터링

  • Kafka 전문가의 선제적 클러스터 모니터링 및 유지 관리를 받으며 앱 개발에 집중
  • Infinite Storage를 통해 디스크 공간 관련 장애의 위험을 줄이면서 클러스터 수준의 스토리지 사용 사례를 무제한 지원

사전 집계된 무료 메트릭

  • 추가 비용 없이 토픽과 클러스터 수준에서 사전 집계된 가장 중요한 메트릭 이용. Metrics API를 사용하여, 사용자가 선택한 타사 모니터링 서비스를 메트릭과 함께 이용

항상 안정적인 최신 버전

  • Apache 릴리스 일정에 선행하는 전략적 패치가 포함된 안정적인 최신 Kafka 버전으로의 개입 없는 롤링 업그레이드

선제적 수정

  • 알려진 버그와 취약점을 선제적으로 해결하고 가장 복잡한 Kafka 문제까지 해결해주는 Kafka 전문가의 지원을 통해 신뢰할 수 있게 안정적으로 스트리밍

Amazon MSK

수동 모니터링

  • CPU 사용 등의 브로커 메트릭 모니터링에 리소스를 할당하여 클러스터 성능 선제적 관리
  • 스토리지 용량으로 인한 장애를 방지하기 위해 디스크 공간 모니터링 및 알림 생성

토픽 수준 메트릭 - 추가 비용

  • 사용량 전체를 모니터링하기 위해 브로커별 및 토픽별 메트릭을 이용 및 수동 집계하는 유료 서비스

제한적 버전 지원

  • AWS가 예정된 Apache 릴리스 후에 업그레이드에 대한 지원을 추가하면 수동으로 업그레이드를 트리거. MSK는 Kafka 릴리스 일부만 지원

사후 수정

  • MSK는 Kafka의 일부 버전만 제공하며, Kafka 소프트웨어로 인한 장애는 MSK 가동 시간 SLA에 포함되지 않습니다. 일부 릴리스를 채택하면, 취약점을 사후에 수정하는 방식이 강제됩니다.

MSK 서버리스

선제적 모니터링

  • 선제적 클러스터 모니터링 및 유지 관리를 받으며 앱 개발에 집중
  • Infinite Storage를 통해 디스크 공간 관련 장애의 위험을 줄이면서 클러스터 수준의 스토리지 사용 사례를 무제한 지원

기본 모니터링 무료

  • AWS 제품 다수를 모니터링하는 별도의 도구인 CloudWatch 콘솔을 사용하여 토픽 수준 메트릭 무료 이용. 파티션 수준 메트릭 또는 Datadog 및 Dynatrace와 같은 인기 모니터링 도구와의 기본 통합 미포함

제한된 버전 지원

  • 무중단 롤링 업그레이드의 일환으로 일체의 개입 없음. MSK는 Kafka 릴리스 중 일부만 지원하며 최신 버전은 알려지지 않았고 완전히 추상화된 상태

사후 수정

  • MSK는 Kafka의 일부 버전만 제공하며, Kafka 소프트웨어로 인한 장애는 MSK 가동 시간 SLA에 포함되지 않습니다. 일부 릴리스를 채택하면, 취약점을 사후에 수정하는 방식이 강제됩니다.
확장
클라우드 네이티브
자체 관리형
맞춤 설정/지원 없음

서비스

Confluent Cloud

Amazon MSK

MSK 서버리스

클러스터 확장

탄력적인 확장성

  • 완전한 탄력적 자체 균형 조정 클러스터를 통해 처리량이 늘거나 GBps급으로 줄어들 때 클러스터에 리소스를 자동으로 할당하여 소비자 지연을 관리
  • Infinite Storage를 사용해 토픽 보존 기간 연장 시 클러스터 컴퓨팅 과할당을 제거

수동 데이터 리밸런싱

  • 브로커가 클러스터에 추가된 뒤 Cruise Control을 사용하여 수동으로 데이터를 리밸런싱하는 프로세스 필요
  • Tiered Storage를 사용할 수 있지만 브로커가 30개로 제한되어 있어, 브로커당 16TB까지 확장할 수 있는 EBS 볼륨 필요

탄력적인 확장성

  • 자동 클러스터 리밸런싱을 통해 0~200MBps 범위에서 손쉽게 확장 및 축소
  • Infinite Storage를 사용해 토픽 보존 기간 연장 시 클러스터 컴퓨팅 과할당을 제거
Connectors

사전 구축 및 완전 관리

  • 지속적으로 증가하는 120개 이상의 커넥터 포트폴리오를 통해 온프레미스 및 퍼블릭 클라우드 전반에서 최신 및 레거시 서비스에 대한 통합 가속화 - 이 커넥터는 완전 관리형 구성 요소 또는 Confluent 지원이 적용되는 사전 구축된 구성 요소로 사용 가능

자체 개발 및 관리

  • AWS의 명시적인 기술 지원 없이 자체 구축 또는 커뮤니티 구축 커넥터 활용, 기본 MSK Connect 인프라만 제공

자체 개발 및 관리

  • AWS의 명시적인 기술 지원 없이 자체 구축 또는 커뮤니티 구축 커넥터 활용, 기본 MSK Connect 인프라만 제공

Confluent Cloud

탄력적인 확장성

  • 완전한 탄력적 자체 균형 조정 클러스터를 통해 처리량이 늘거나 GBps급으로 줄어들 때 클러스터에 리소스를 자동으로 할당하여 소비자 지연을 관리
  • Infinite Storage를 사용해 토픽 보존 기간 연장 시 클러스터 컴퓨팅 과할당을 제거

사전 구축 및 완전 관리

  • 지속적으로 증가하는 120개 이상의 커넥터 포트폴리오를 통해 온프레미스 및 퍼블릭 클라우드 전반에서 최신 및 레거시 서비스에 대한 통합 가속화 - 이 커넥터는 완전 관리형 구성 요소 또는 Confluent 지원이 적용되는 사전 구축된 구성 요소로 사용 가능

Amazon MSK

수동 데이터 리밸런싱

  • 브로커가 클러스터에 추가된 뒤 Cruise Control을 사용하여 수동으로 데이터를 리밸런싱하는 프로세스 필요
  • Tiered Storage를 사용할 수 있지만 브로커가 30개로 제한되어 있어, 브로커당 16TB까지 확장할 수 있는 EBS 볼륨 필요

자체 개발 및 관리

  • AWS의 명시적인 기술 지원 없이 자체 구축 또는 커뮤니티 구축 커넥터 활용, 기본 MSK Connect 인프라만 제공

MSK 서버리스

탄력적인 확장성

  • 자동 클러스터 리밸런싱을 통해 0~200MBps 범위에서 손쉽게 확장 및 축소
  • Infinite Storage를 사용해 토픽 보존 기간 연장 시 클러스터 컴퓨팅 과할당을 제거

자체 개발 및 관리

  • AWS의 명시적인 기술 지원 없이 자체 구축 또는 커뮤니티 구축 커넥터 활용, 기본 MSK Connect 인프라만 제공
스트림 처리 및 통합
클라우드 네이티브
자체 관리형
맞춤 설정/지원 없음

서비스

Confluent Cloud

Amazon MSK

MSK 서버리스

Connectors

사전 구축 & 완전 관리형

  • 완전 관리형 구성 요소 또는 Confluent 지원이 적용되는 사전 구축된 구성 요소로 사용 가능한 120개가 넘는 커넥터의 지속적으로 성장하는 포트폴리오를 통해 온프레미스와 퍼블릭 클라우드 전반에서 Apache Kafka와 최신 및 레거시 서비스를 쉽고 완벽하게 통합합니다.

사용자 정의 구축 & 자체 관리형

  • 자체 커넥터를 구축하거나 커뮤니티에서 개발한 소규모 커넥터 세트에서 배포할 수 있는 옵션으로 Kafka를 사용하는 데이터 서비스와 통합합니다. 맞춤형으로 구축된 커넥터에는 유지 관리가 필요하며 Kafka 커뮤니티 커넥터에는 AWS 기술 지원이 제공되지 않습니다.

사용자 정의 구축 & 자체 관리형

  • 자체 커넥터를 구축하거나 커뮤니티에서 개발한 소규모 커넥터 세트에서 배포할 수 있는 옵션으로 Kafka를 사용하는 데이터 서비스와 통합합니다. 맞춤형으로 구축된 커넥터에는 유지 관리가 필요하며 Kafka 커뮤니티 커넥터에는 AWS 기술 지원이 제공되지 않습니다.
스트림 처리

완전 관리형

  • 완전 관리형 Flink 및 ksqDB 서비스를 제공합니다. 사용자는 클러스터를 간단하게 생성하고 SQL 같은 언어를 사용하여 스트림 처리를 시작합니다. AWS 완전 관리형 Lambda 서비스도 지원합니다.

복잡성 추가

  • Lambda와 자체 관리형 ksqlDB 지원
  • Apache Flink(MSF)용 관리형 서비스를 지원합니다. 이는 사용자가 네트워킹을 구성하고, MSF Studio 노트북을 생성하고, SQL 유사 구문을 사용하여 작업을 작성하고, 코드를 테스트 및 패키징하여 S3에 업로드하고, 업로드된 코드로 MSF 애플리케이션을 생성해야 한다는 점에서 강력하지만 더 복잡합니다.

복잡성 추가

  • Lambda 지원, ksqlDB 지원 안함
  • Apache Flink(MSF)용 관리형 서비스를 지원합니다. 이는 사용자가 네트워킹을 구성하고, MSF Studio 노트북을 생성하고, SQL 유사 구문을 사용하여 작업을 작성하고, 코드를 테스트 및 패키징하여 S3에 업로드하고, 업로드된 코드로 MSF 애플리케이션을 생성해야 한다는 점에서 강력하지만 더 복잡합니다.
노코드 스트리밍 처리

완전 관리형

  • Stream Designer의 포인트-앤-클릭 인터페이스를 사용해 시각적인 스트리밍 데이터 파이프라인 구축

사용자 정의 구축 & 자체 관리형

  • 사용자 정의를 통해 노코드 스트림 처리 솔루션 구축

사용자 정의 구축 & 자체 관리형

  • 사용자 정의를 통해 노코드 스트림 처리 솔루션 구축

Confluent Cloud

사전 구축 & 완전 관리형

  • 완전 관리형 구성 요소 또는 Confluent 지원이 적용되는 사전 구축된 구성 요소로 사용 가능한 120개가 넘는 커넥터의 지속적으로 성장하는 포트폴리오를 통해 온프레미스와 퍼블릭 클라우드 전반에서 Apache Kafka와 최신 및 레거시 서비스를 쉽고 완벽하게 통합합니다.

완전 관리형

  • 완전 관리형 Flink 및 ksqDB 서비스를 제공합니다. 사용자는 클러스터를 간단하게 생성하고 SQL 같은 언어를 사용하여 스트림 처리를 시작합니다. AWS 완전 관리형 Lambda 서비스도 지원합니다.

완전 관리형

  • Stream Designer의 포인트-앤-클릭 인터페이스를 사용해 시각적인 스트리밍 데이터 파이프라인 구축

Amazon MSK

사용자 정의 구축 & 자체 관리형

  • 자체 커넥터를 구축하거나 커뮤니티에서 개발한 소규모 커넥터 세트에서 배포할 수 있는 옵션으로 Kafka를 사용하는 데이터 서비스와 통합합니다. 맞춤형으로 구축된 커넥터에는 유지 관리가 필요하며 Kafka 커뮤니티 커넥터에는 AWS 기술 지원이 제공되지 않습니다.

복잡성 추가

  • Lambda와 자체 관리형 ksqlDB 지원
  • Apache Flink(MSF)용 관리형 서비스를 지원합니다. 이는 사용자가 네트워킹을 구성하고, MSF Studio 노트북을 생성하고, SQL 유사 구문을 사용하여 작업을 작성하고, 코드를 테스트 및 패키징하여 S3에 업로드하고, 업로드된 코드로 MSF 애플리케이션을 생성해야 한다는 점에서 강력하지만 더 복잡합니다.

사용자 정의 구축 & 자체 관리형

  • 사용자 정의를 통해 노코드 스트림 처리 솔루션 구축

MSK 서버리스

사용자 정의 구축 & 자체 관리형

  • 자체 커넥터를 구축하거나 커뮤니티에서 개발한 소규모 커넥터 세트에서 배포할 수 있는 옵션으로 Kafka를 사용하는 데이터 서비스와 통합합니다. 맞춤형으로 구축된 커넥터에는 유지 관리가 필요하며 Kafka 커뮤니티 커넥터에는 AWS 기술 지원이 제공되지 않습니다.

복잡성 추가

  • Lambda 지원, ksqlDB 지원 안함
  • Apache Flink(MSF)용 관리형 서비스를 지원합니다. 이는 사용자가 네트워킹을 구성하고, MSF Studio 노트북을 생성하고, SQL 유사 구문을 사용하여 작업을 작성하고, 코드를 테스트 및 패키징하여 S3에 업로드하고, 업로드된 코드로 MSF 애플리케이션을 생성해야 한다는 점에서 강력하지만 더 복잡합니다.

사용자 정의 구축 & 자체 관리형

  • 사용자 정의를 통해 노코드 스트림 처리 솔루션 구축
관리 및 모니터링
클라우드 네이티브
자체 관리형
맞춤 설정/지원 없음

서비스

Confluent Cloud

Amazon MSK

MSK 서버리스

Kafka UI

완전 관리형

  • 제어 계층 리소스(Kafka Cluster와 Connectors)와 데이터 계층 리소스(Topics와 ACL)를 관리하고 동일한 UI에서 리소스를 모니터링할 수 있도록 직관적이고 사용하기 쉬운 Kafka UI를 제공합니다. 또한 Kafka 리소스에 대한 기본 관리 기능도 제공하여 Kafka Gitops에 유용합니다.

사용 불가

  • 콘솔을 사용해 제어 계층 리소스를 관리할 수 있습니다. Kafka UI가 없으므로, 지원이 제공되지 않는 무료 커뮤니티 도구 또는 타사의 유료 도구를 활용해 Kafka 리소스를 관리해야 합니다. 네이티브 토픽 관리가 부족하면 MSK로 GitOps를 구현하기 어렵습니다.

사용 불가

  • 콘솔을 사용해 제어 계층 리소스를 관리할 수 있습니다. Kafka UI가 없으므로, 지원이 제공되지 않는 무료 커뮤니티 도구 또는 타사의 유료 도구를 활용해 Kafka 리소스를 관리해야 합니다. 네이티브 토픽 관리가 부족하면 MSK로 GitOps를 구현하기 어렵습니다.
인프라 모니터링

선제적 모니터링

  • 컴퓨팅과 저장 공간을 분리하여 디스크 공간 관련 장애를 줄이는 Infinite Storage 같은 기능과, 클러스터 성능을 최고 상태로 유지하는 데 도움을 주는 Kafka 전문가의 선제적 모니터링을 통해 인프라에 대한 고민 타파

DIY 모니터링

  • 저장 공간 용량과 CPU 활용으로 인한 장애를 예방해 클러스터 성능을 선제적으로 관리하기 위한 브로커 수준 메트릭(타사 모니터링 서비스 비용 증가에 기여)을 추출, 집계, 모니터링하는 용도로 리소스 할당

선제적 모니터링

  • 선제적 클러스터 모니터링 및 유지 관리를 받으며 앱 개발에 집중
  • Infinite Storage를 통해 디스크 공간 관련 장애의 위험을 줄이면서 클러스터 수준의 스토리지 사용 사례를 무제한 지원
토픽 모니터링

사전 집계 및 무료

  • 토픽 및 클러스터 수준에서 사전 집계된 중요한 메트릭에 클라우드 UI를 통해 접근하거나, Metrics API를 사용자가 원하는 타사 모니터링 서비스와 수동으로 통합할 때 맞춤형 대시보드를 생성

토픽당 추가 비용

  • 전체 사용량을 모니터링하기 위해 브로커당, 토픽 및 브로커당 수준의 메트릭을 수동으로 집계하고 사용량에 따라 비용 지불, 여러 브로커 간에 파티션을 리밸런싱하면서 확장을 하는 등의 이벤트가 생긴 다음에는 집계 비용 재계산

기본 모니터링 무료

  • 토픽 수준 모니터링을 추가 비용 없이 CloudWatch 콘솔을 통해 제공합니다. 파티션 수준 모니터링이나 메트릭 API 접근은 포함되지 않습니다. Datadog, New Relic 같은 인기 모니터링 도구와 쉽게 통합할 수 없습니다.

Confluent Cloud

완전 관리형

  • 제어 계층 리소스(Kafka Cluster와 Connectors)와 데이터 계층 리소스(Topics와 ACL)를 관리하고 동일한 UI에서 리소스를 모니터링할 수 있도록 직관적이고 사용하기 쉬운 Kafka UI를 제공합니다. 또한 Kafka 리소스에 대한 기본 관리 기능도 제공하여 Kafka Gitops에 유용합니다.

선제적 모니터링

  • 컴퓨팅과 저장 공간을 분리하여 디스크 공간 관련 장애를 줄이는 Infinite Storage 같은 기능과, 클러스터 성능을 최고 상태로 유지하는 데 도움을 주는 Kafka 전문가의 선제적 모니터링을 통해 인프라에 대한 고민 타파

사전 집계 및 무료

  • 토픽 및 클러스터 수준에서 사전 집계된 중요한 메트릭에 클라우드 UI를 통해 접근하거나, Metrics API를 사용자가 원하는 타사 모니터링 서비스와 수동으로 통합할 때 맞춤형 대시보드를 생성

Amazon MSK

사용 불가

  • 콘솔을 사용해 제어 계층 리소스를 관리할 수 있습니다. Kafka UI가 없으므로, 지원이 제공되지 않는 무료 커뮤니티 도구 또는 타사의 유료 도구를 활용해 Kafka 리소스를 관리해야 합니다. 네이티브 토픽 관리가 부족하면 MSK로 GitOps를 구현하기 어렵습니다.

DIY 모니터링

  • 저장 공간 용량과 CPU 활용으로 인한 장애를 예방해 클러스터 성능을 선제적으로 관리하기 위한 브로커 수준 메트릭(타사 모니터링 서비스 비용 증가에 기여)을 추출, 집계, 모니터링하는 용도로 리소스 할당

토픽당 추가 비용

  • 전체 사용량을 모니터링하기 위해 브로커당, 토픽 및 브로커당 수준의 메트릭을 수동으로 집계하고 사용량에 따라 비용 지불, 여러 브로커 간에 파티션을 리밸런싱하면서 확장을 하는 등의 이벤트가 생긴 다음에는 집계 비용 재계산

MSK 서버리스

사용 불가

  • 콘솔을 사용해 제어 계층 리소스를 관리할 수 있습니다. Kafka UI가 없으므로, 지원이 제공되지 않는 무료 커뮤니티 도구 또는 타사의 유료 도구를 활용해 Kafka 리소스를 관리해야 합니다. 네이티브 토픽 관리가 부족하면 MSK로 GitOps를 구현하기 어렵습니다.

선제적 모니터링

  • 선제적 클러스터 모니터링 및 유지 관리를 받으며 앱 개발에 집중
  • Infinite Storage를 통해 디스크 공간 관련 장애의 위험을 줄이면서 클러스터 수준의 스토리지 사용 사례를 무제한 지원

기본 모니터링 무료

  • 토픽 수준 모니터링을 추가 비용 없이 CloudWatch 콘솔을 통해 제공합니다. 파티션 수준 모니터링이나 메트릭 API 접근은 포함되지 않습니다. Datadog, New Relic 같은 인기 모니터링 도구와 쉽게 통합할 수 없습니다.
엔터프라이즈급 보안
클라우드 네이티브
자체 관리형
맞춤 설정/지원 없음

서비스

Confluent Cloud

Amazon MSK

MSK 서버리스

인증

광범위한 인증

  • 클러스터에는 인증된 클라이언트만 접근 허용. 인증 방식으로 SASL/PLAIN 및 SASL/OAUTHBEARER(미리 보기) 지원

광범위한 인증

  • 인증된 액세스 허용. 인증 방식으로 SASL/SCRAM, mTLS, IAM 지원

제한된 인증

  • 인증된 클라이언트만 클러스터 접근 허용. 인증 방식으로 IAM만 지원
암호화

종단간 암호화

  • Confluent Cloud의 Client-Side Field Level Encryption(얼리 액세스)은 클라이언트의 민감한 데이터를 암호화하여 클라이언트와 서버에서 모두 보호하고, 생산자와 소비자 사이에서 데이터가 오가는 중에도 보안을 유지하여 보안을 강화

지원되지 않음

  • 필드 수준 암호화는 지원 불가

지원되지 않음

  • 필드 수준 암호화는 지원 불가
취약점 및 버그 패치

선제적 수정

  • 서비스 가용성을 최고 수준으로 유지하기 위해, 수정 사항이 테스트를 거쳐 안정화되고 나면 Kafka 전문가가 모든 클러스터에서 식별되고 구현된 버그와 확인된 취약점을 해결

사후 수정

  • AWS는 Kafka가 릴리스되기 전에 버그를 해결할 수 없으므로, 소프트웨어 관련 문제는 가동 시간 SLA에서 제외됩니다. MSK 고객은 최신 버전이 지원되는 경우 클러스터를 수동으로 업그레이드하고, 업그레이드 경로가 없으면 클러스터 마이그레이션을 할 수 있습니다.

사후 수정

  • AWS는 Kafka가 릴리스되기 전에 버그를 해결할 수 없으므로, 소프트웨어 관련 문제는 가동 시간 SLA에서 제외됩니다. MSK 고객은 최신 버전이 지원되는 경우 클러스터를 수동으로 업그레이드하고, 업그레이드 경로가 없으면 클러스터 마이그레이션을 할 수 있습니다.

Confluent Cloud

광범위한 인증

  • 클러스터에는 인증된 클라이언트만 접근 허용. 인증 방식으로 SASL/PLAIN 및 SASL/OAUTHBEARER(미리 보기) 지원

종단간 암호화

  • Confluent Cloud의 Client-Side Field Level Encryption(얼리 액세스)은 클라이언트의 민감한 데이터를 암호화하여 클라이언트와 서버에서 모두 보호하고, 생산자와 소비자 사이에서 데이터가 오가는 중에도 보안을 유지하여 보안을 강화

선제적 수정

  • 서비스 가용성을 최고 수준으로 유지하기 위해, 수정 사항이 테스트를 거쳐 안정화되고 나면 Kafka 전문가가 모든 클러스터에서 식별되고 구현된 버그와 확인된 취약점을 해결

Amazon MSK

광범위한 인증

  • 인증된 액세스 허용. 인증 방식으로 SASL/SCRAM, mTLS, IAM 지원

지원되지 않음

  • 필드 수준 암호화는 지원 불가

사후 수정

  • AWS는 Kafka가 릴리스되기 전에 버그를 해결할 수 없으므로, 소프트웨어 관련 문제는 가동 시간 SLA에서 제외됩니다. MSK 고객은 최신 버전이 지원되는 경우 클러스터를 수동으로 업그레이드하고, 업그레이드 경로가 없으면 클러스터 마이그레이션을 할 수 있습니다.

MSK 서버리스

제한된 인증

  • 인증된 클라이언트만 클러스터 접근 허용. 인증 방식으로 IAM만 지원

지원되지 않음

  • 필드 수준 암호화는 지원 불가

사후 수정

  • AWS는 Kafka가 릴리스되기 전에 버그를 해결할 수 없으므로, 소프트웨어 관련 문제는 가동 시간 SLA에서 제외됩니다. MSK 고객은 최신 버전이 지원되는 경우 클러스터를 수동으로 업그레이드하고, 업그레이드 경로가 없으면 클러스터 마이그레이션을 할 수 있습니다.
데이터 거버넌스
클라우드 네이티브
자체 관리형
맞춤 설정/지원 없음

서비스

Confluent Cloud

Amazon MSK

MSK 서버리스

데이터 거버넌스

완전 관리형

  • 조직 전체에서 사용되는 데이터의 가용성, 무결성, 보안을 함께 관리하는 완전 관리형 서비스 제품군을 제공합니다. Stream Governance는 Stream Lineage, Stream Catalog, Stream Quality를 핵심 전략 축으로 삼아 구축되었습니다. Data Quality Rules는 고품질 스트림을 보장합니다.

사용할 수 없음

  • 계보 또는 카탈로그 기능이 없습니다. 별도의 지원이 없는 무료 커뮤니티 도구나 타사의 유료 도구를 사용해 스트림 거버넌스를 제공해야 합니다.
  • 데이터 품질을 위해 MSK와 MSK Serverless를 Confluent 및 Glue Schema Registry와 통합합니다. 그러나 여기에는 데이터 생산자가 스키마 레지스트리를 사용하여 스키마 진화를 제어하도록 강제하는 브로커 측 스키마 검증, 데이터 스트림 안에서 개별 필드 값을 검증하고 제한하는 Data Quality Rules, 서로 다른 환경 간에 스키마를 동기화하는 스키마 연결이 없습니다.

사용할 수 없음

  • 계보 또는 카탈로그 기능이 없습니다. 별도의 지원이 없는 무료 커뮤니티 도구나 타사의 유료 도구를 사용해 스트림 거버넌스를 제공해야 합니다.
  • 데이터 품질을 위해 MSK와 MSK Serverless를 Confluent 및 Glue Schema Registry와 통합합니다. 그러나 여기에는 데이터 생산자가 스키마 레지스트리를 사용하여 스키마 진화를 제어하도록 강제하는 브로커 측 스키마 검증, 데이터 스트림 안에서 개별 필드 값을 검증하고 제한하는 Data Quality Rules, 서로 다른 환경 간에 스키마를 동기화하는 스키마 연결이 없습니다.

Confluent Cloud

완전 관리형

  • 조직 전체에서 사용되는 데이터의 가용성, 무결성, 보안을 함께 관리하는 완전 관리형 서비스 제품군을 제공합니다. Stream Governance는 Stream Lineage, Stream Catalog, Stream Quality를 핵심 전략 축으로 삼아 구축되었습니다. Data Quality Rules는 고품질 스트림을 보장합니다.

Amazon MSK

사용할 수 없음

  • 계보 또는 카탈로그 기능이 없습니다. 별도의 지원이 없는 무료 커뮤니티 도구나 타사의 유료 도구를 사용해 스트림 거버넌스를 제공해야 합니다.
  • 데이터 품질을 위해 MSK와 MSK Serverless를 Confluent 및 Glue Schema Registry와 통합합니다. 그러나 여기에는 데이터 생산자가 스키마 레지스트리를 사용하여 스키마 진화를 제어하도록 강제하는 브로커 측 스키마 검증, 데이터 스트림 안에서 개별 필드 값을 검증하고 제한하는 Data Quality Rules, 서로 다른 환경 간에 스키마를 동기화하는 스키마 연결이 없습니다.

MSK 서버리스

사용할 수 없음

  • 계보 또는 카탈로그 기능이 없습니다. 별도의 지원이 없는 무료 커뮤니티 도구나 타사의 유료 도구를 사용해 스트림 거버넌스를 제공해야 합니다.
  • 데이터 품질을 위해 MSK와 MSK Serverless를 Confluent 및 Glue Schema Registry와 통합합니다. 그러나 여기에는 데이터 생산자가 스키마 레지스트리를 사용하여 스키마 진화를 제어하도록 강제하는 브로커 측 스키마 검증, 데이터 스트림 안에서 개별 필드 값을 검증하고 제한하는 Data Quality Rules, 서로 다른 환경 간에 스키마를 동기화하는 스키마 연결이 없습니다.