Siemens, Confluent의 데이터
스트리밍 플랫폼으로 제조 공정 현대화

Siemens의 기술은 전력망부터 철도, 병원에 이르기까지 모든 분야에서 디지털화 이니셔티브를 추진하는 일상적인 인프라를 혁신합니다.

산업 자동화, 스마트 빌딩, 의료 시스템을 아우르는 솔루션의 성공은 더 빠른 제품 제공, 운영 가시성, 공장 장비와 비즈니스 애플리케이션 간의 원활한 커뮤니케이션을 가능하게 하는 일관된 실시간 데이터 흐름을 유지하는 데 달려 있습니다.

하지만 비효율적인 Kafka Cluster로 인해 비용이 증가하고 사용량 추적이 제한되며 가장 작은 파일럿 프로젝트조차도 부서마다 전용 인프라가 필요하게 되면서 진행이 지연되었습니다.

Confluent의 데이터 스트리밍 플랫폼은 운영 기술과 비즈니스 시스템을 연결하는 통합 데이터 백본을 구축하여 Siemens의 팀이 정보에 액세스하고 공유하는 방식을 획기적으로 간소화했습니다.

이제 Siemens 팀은 가장 중요한 일에 집중합니다. 물리적 장비를 디지털 시스템과 연결하고 제품을 더 빠르게 출시하며 실시간 데이터를 통해 가시성을 높입니다.

Siemens의 Kafka Cluster 문제

200개 이상의 국가에 걸쳐 공장, 전력망 및 의료 시스템에 스마트 기술을 제공하면서 엄청난 양의 데이터가 생성됩니다. 

Siemens는 오픈 소스 Apache Kafka®를 사용하여 모든 중요한 일상 운영 데이터를 수집했지만, 해당 데이터는 서로 연결되지 않은 시스템에 비효율적으로 저장되었습니다.

"Kafka를 요청한 각 부서에는 전용 클러스터가 할당되었지만, 제대로 활용되지 않는 경우가 많았습니다."라고 Siemens의 서비스 책임자인 Jose Carlos Mendes Neves는 설명합니다. "부서 간 리소스를 공유할 수 없었고, 각 팀이 실제로 무엇을 사용하고 있는지 추적하는 것도 거의 불가능했습니다."

독립적인 클러스터로 인해 중요한 공장 데이터가 비즈니스 시스템에서 격리되어 Siemens가 데이터를 활용하는 방법이 제한되었으며, 동시에 비용과 기술적 복잡성이 증가했습니다. 

이 접근 방식은 Siemens의 미래 목표와 일치하지 않았습니다. "전 세계적으로 데이터와 AI 전략을 지원할 수 있는 하나의 중앙 집중식 플랫폼이 필요했습니다." Jose Carlos가 말합니다. "다양한 유형의 시스템이 서로 통신하면서 동시에 모든 인프라의 복잡성을 제거할 수 있는 플랫폼이 필요했습니다."

그러한 상황에서 Siemens는 Confluent를 선택했습니다...   

단순성과 확장성을 고려하여 설계된 플랫폼 배포

Siemens는 통합 데이터 전략을 위한 데이터 스트리밍 플랫폼으로 Confluent를 배포했습니다.

중앙 집중식 데이터 스트리밍 백본 역할을 하는 Confluent를 통해 Siemens는 운영 자산과 분석 자산을 원활하게 연결할 수 있었습니다. 이제 Connectors를 사용하여 데이터는 Siemens의 글로벌 애플리케이션 네트워크, ERP, 재고 관리 시스템, 데이터 웨어하우스, AI/ML 플랫폼 간에 효율적으로 이동할 수 있습니다. Kafka 인프라의 복잡성을 Confluent가 처리함에 따라 Siemens의 기술팀은 클러스터 유지 관리에서 벗어났습니다. 기술적 오버헤드 관리 대신 데이터를 활용하여 비즈니스 가치를 창출하고 운영 효율성을 높이는 데 집중할 수 있게 되었습니다.

전사적 도입을 위한 '서비스형 Topic' 모델 구축

Confluent를 통해 Siemens는 팀이 기술적 세부 사항에 신경 쓰지 않고 Apache Kafka Cluster 내의 데이터 스트림인 어떤 'Topic'을 요청할 수 있는 '서비스형 Topic(Topic as a Service)' 모델을 만들었습니다.

Siemens의 서비스 책임자인 Anibal Pereira는 "'서비스형 Topic'를 통해 내부 고객은 각 프로젝트에 필요한 Topic 수만큼만 주문할 수 있습니다."라고 설명합니다. "고객은 Kafka를 이해하거나, 인프라를 유지 관리하거나, 확장성에 대해 걱정할 필요 없이 데이터에만 집중할 수 있습니다."

이 접근 방식은 데이터 스트리밍을 막 시작한 부서에 특히 유용합니다. 팀은 상당한 초기 투자나 전문 지식 없이도 몇 가지 Topic만으로 시작하여 즉각적인 결과를 확인하고 필요에 따라 확장할 수 있습니다.

또한 Confluent의 탄력적인 확장 기능 덕분에 워크로드가 수요에 맞춰 자동으로 조정됩니다. Jose Carlos는 "Confluent를 사용하면 사용량이 증가함에 따라 클러스터를 수동으로 확장할 필요 없이 처리량이 증가합니다."라고 말합니다.

이러한 접근 방식은 Siemens의 데이터 인프라를 혁신하여 한때 파편화되고 활용도가 낮은 리소스의 집합이었던 것을 실제 사용량에 따라 확장되는 간소화되고 비용 효율적인 플랫폼으로 전환했습니다.

마스터 데이터 관리를 위한 제품적 사고방식

Siemens의 초기 사용 사례 중 하나는 제품 마스터 데이터 스트리밍 솔루션을 구축하여 조직 전체에서 제품 정보가 흐르는 방식을 혁신한 것이었습니다.

이 이니셔티브는 조직이 데이터를 바라보는 방식을 획기적으로 바꾸어 놓았습니다. 데이터를 산발적인 비즈니스 프로세스의 잔재가 아닌 제품으로 취급하게 된 것입니다. "이전에는 제품 데이터가 배치 프로세스에 갇혀 전략적 자산이 아닌 부차적인 고려 사항으로 취급되었습니다."라고 Siemens의 데이터 통합 수석 핵심 전문가 Stefan Baer가 설명합니다. "이벤트 기반 데이터 스트리밍으로 접근 방식을 혁신하여 마스터 데이터를 내부 고객이 활용하고 발전시킬 수 있는 서비스로 포지셔닝했습니다."

새로운 아키텍처는 producer와 consumer를 분리하여 SAP 시스템, 전자 카탈로그 생성 시스템, 지역 영업 시스템이 원활하게 상호 작용할 수 있도록 지원합니다.

"이전에는 지역 영업 시스템에서 제품 업데이트를 받기까지 최대 4주를 기다려야 했습니다. Confluent를 사용하면 이 기간이 단 이틀로 단축되어 consumers는 업데이트가 처리되는 즉시 받아볼 수 있습니다."

Siemens 플랫폼은 하루 평균 200만 건의 메시지 생성과 800만 건의 메시지 소비를 처리하며, 주요 가격 업데이트 시에는 최대 1,900만 건의 메시지까지 처리량이 급증합니다. 하지만 이처럼 높은 처리량에도 불구하고, 시스템은 리소스에 대한 접근 및 관리가 매우 효율적으로 이루어져 일반적으로 클러스터 부하의 3%만 사용합니다. 

'서비스형 Topic'을 기반으로 한 다양한 사용 사례

초기 성공 이후, Siemens는 비즈니스 전반에 걸쳐 Confluent 사용을 확대하고자 했으며, 각 팀은 특정 과제에 대한 혁신적인 솔루션을 개발했습니다. 

데이터 스트리밍을 통한 공장 물류 현대화

Siemens는 Confluent를 기반으로 구축된 모듈식 플랫폼을 통해 공장 물류를 현대화했습니다. 이 솔루션은 Microservices 아키텍처를 활용하여 내부 공급망을 개선함으로써 생산에 필요한 자재가 적시에 도착하도록 보장합니다.

"모놀리식 시스템을 분석하여 표준화된 사전 패키지 소프트웨어 구성 요소로 분리했습니다." Stefan이 설명합니다. "이제 이러한 비즈니스 기능 간의 통신은 비동기식으로 이루어지며 Confluent Cloud를 통해 실행됩니다."

그 결과는 혁신적이었습니다. 자재의 적시 배송, 수동 재주문 불필요, 그리고 완전 자동화된 푸시 기반 공급망이 구축되었습니다. 아키텍처의 유연성 덕분에 경직된 맞춤형 연결이 사라지고 보고 및 모니터링 시스템을 쉽게 통합할 수 있었습니다.

품질 검사 데이터 관리

또 다른 가치 있는 구현은 Siemens의 품질 검사 데이터 관리 수명 주기입니다. Confluent를 사용하면 품질 검사 기계의 매개변수와 테스트 결과가 SQL 데이터베이스에서 중앙 집중식 위치로 스트리밍되어 각 기계 유형에 대해 검증됩니다.

"검증되거나 수정된 매개변수는 데이터 스트리밍을 통해 품질 검사 부서로 다시 전송됩니다." Jose Carlos가 설명합니다. "실시간 데이터 스트리밍이 없었다면 이러한 지속적인 개선 과정은 불가능했으며, 이를 통해 모든 시설의 검사 보고서에 대한 단일 정보 소스를 구축함으로써 품질 프로세스가 크게 개선되었습니다."

자산 수집 및 작업 오케스트레이션

Siemens는 또한 Confluent Cloud를 사용하여 Topic 오케스트레이션을 위한 자산 수집기 및 패키저 시스템을 구현했습니다. 이 시스템은 다양한 자산 관리 시스템 간의 작업을 관리하며 강력한 모니터링 기능을 통해 프로세스에 대한 완전한 투명성을 제공합니다.

"Snaplogic은 주요 통합 도구 역할을 하고, Confluent Cloud는 모든 Topic 오케스트레이션을 처리합니다." Stefan이 말합니다. "덕분에 전체 시스템에 영향을 주지 않고 요청 또는 생성 애플리케이션을 매우 쉽게 추가하거나 변경할 수 있습니다."

자산 관리 워크플로를 중앙 집중화함으로써 Siemens는 민첩성을 높이고 추적 기능을 개선하며 디지털 자산을 다루는 팀 간의 협업을 강화하여 신제품 및 서비스의 출시 기간을 단축했습니다.

더 빠른 운영, 연결된 시스템, 상당한 비용 절감

리소스 최적화를 통한 막대한 비용 절감

Siemens는 Confluent를 통해 리소스를 통합함으로써 활용도가 낮은 인프라를 제거하고 데이터 인프라에 대한 비용 관리를 개선했습니다. 

Anibal은 "Confluent 배포를 중앙 집중화함으로써 연간 계약에 따른 볼륨 할인과 공유 플랫폼의 효율성을 모두 활용할 수 있었습니다."라고 설명하며, "또한 각 부서에서 더 이상 전용 클러스터가 필요하지 않아 전체 인프라 비용을 크게 절감할 수 있었습니다."라고 덧붙였습니다.

IT와 OT 시스템 간의 가교

Siemens는 제조 부문에서 운영 기술(OT)과 정보 기술(IT) 시스템 간의 장벽을 허물기 위해 Confluent를 사용하고 있습니다.

"Confluent의 Kafka를 사용하여 산업용 기기에서 에너지 관리 애플리케이션으로 데이터를 직접 스트리밍하고 있습니다." Anibal이 설명합니다. "이러한 통합을 통해 OT와 IT 세계를 단일 데이터 에코시스템으로 통합하는 데 도움이 되고 있습니다."

이전에 분리되었던 시스템이 통합됨으로써 Siemens는 물리적 시스템의 포괄적인 디지털 트윈을 개발할 수 있게 되었으며, 이를 통해 예측 유지 관리부터 실시간 운영 최적화에 이르기까지 모든 것을 지원할 수 있습니다.

실시간 품질 개선 루프

Siemens는 실시간 데이터를 활용하여 자사 기계에 대한 새로운 품질 검사 수명 주기 시스템을 구현했으며, 그 결과 더욱 빠르고 명확한 품질 프로세스, 품질 보고서 및 시험 인증서를 제공할 수 있게 되었습니다.

Siemens는 품질 검사 기계의 매개변수와 테스트 결과를 SQL 데이터베이스에서 데이터 싱크로 전송합니다. 그러면 중앙 집중식 위치에서 각 기계 유형별로 매개변수와 테스트 세트를 검증합니다. 검증되거나 수정된 매개변수는 Confluent를 사용하여 품질 검사 팀으로 다시 전송됩니다. 

"실시간 데이터 스트리밍이 없었다면 이러한 지속적인 개선 과정은 불가능했을 것입니다." Jose Carlos는 말합니다. "이 접근 방식은 품질 프로세스를 크게 개선했으며, 모든 시설의 검사 보고서에 대한 단일 정보 소스를 구축했습니다."

Siemens와 Confluent의 다음 계획은 무엇일까요?

앞으로 Siemens는 조직 전반에서 더욱 다양한 사용 사례를 지원하기 위해 서비스 플랫폼을 확장할 계획입니다.

Anibal은 "서비스 접근성을 더 높이기 위해 자동화에 집중하고 있습니다."라고 설명하며, "팀이 Topic을 요청하고 사용량을 모니터링하며 비용을 예측할 수 있는 셀프서비스 포털을 구축함으로써 관리 체계를 유지하면서 서비스 도입을 가속화할 것입니다."라고 덧붙였습니다.

팀은 또한 Apache Flink를 활용한 스트림 처리를 통해 데이터 스트림 내에서 보다 정교한 실시간 분석을 구현하는 방안을 모색하고 있습니다.

"플랫폼을 확장하면서 Siemens의 광범위한 디지털 및 AI 전략에 적극적으로 기여하고 있습니다." Jose Carlos가 말합니다. "Confluent를 통해 구축한 데이터 스트리밍 기반은 공장 현대화 이니셔티브와 스마트 인프라 배포에 점점 더 큰 힘을 실어줄 것입니다."

Siemens는 물리적 세계와 디지털 세계를 결합하려는 자사의 비전에 Confluent 기반 데이터 스트리밍 플랫폼이 필수적이라고 생각합니다. 운영 시스템과 비즈니스 애플리케이션 간에 실시간 데이터 흐름을 지원함으로써 보다 효율적이고 지속 가능한 데이터 기반 조직을 위한 토대를 만들고 있습니다.