Confluent Cloud の新機能 : データとパイプラインのアクセス性改善で AI 対応のストリーミングを実現 | もっと詳しく

SBI Liquidity Market Logo

金融グレードの新データ基盤をどう整備するか
~ConfluentのデータパイプラインがSBIグループのFX基盤を支える

レート配信・注文処理における信頼性とパフォーマンスを大幅に向上し

データベースに依存せず、並列処理によるパフォーマンス確保や市場変化によるシステムの変更が柔軟に可能

今後、他部門のユーザーによる自由分析や、リアルタイムでの不正検知も可能となる柔軟性を備えたデータ基盤が確立

さらなる事業成長を見据え、FX取引基盤の刷新を決断

オンライン金融システムを取り扱うSBIグループの一員として、外国為替証拠金取引(FX取引)に関するシステムの開発・提供を担うSBIリクイディティ・マーケット。グループ内のSBI証券やSBI FXトレードといった金融商品取引業者に取引基盤を提供、各社を通じて個人投資家にサービスを展開している。また、カウンターパーティと呼ばれる国内外32社の金融機関との接続により為替レートを集約、FX取引における市場機能と流動性を提供することで、SBIグループにおけるFX事業の競争力を支えてきた。

FX取引基盤には秒間数万件のレート処理に対応可能な高速性に加え、24時間365日の安定稼働を続ける高信頼性や可用性が求められる。そうした中で、同社が直面していた課題が、さらなるビジネスの成長に対応可能な取引基盤への変革だった。執行役員 CTO システム部長の吉川裕太氏は、「これまでの当社のFX取引基盤はデータベースを中心としたモノリシックなアーキテクチャを採用していました。しかし、2011年の運用開始以後、機能追加を繰り返してきたことでシステムが複雑化。改修時の影響範囲が大きく、パフォーマンスの改善も困難な状態に陥っていたのです。また、サービスの追加や変更、取引量増加に伴う柔軟性と拡張性にも課題があり、今後の取引量増加にも対応可能な基盤への刷新が急務でした」と説明する。

柔軟で拡張性に優れたマイクロサービス化に向けKafkaを選択

取引基盤の刷新に向けて同社が定めた方針が、マイクロサービス化である。システムを機能ごとに分散、配信されたレートを目的別に処理したり、取引量や負荷に応じて執行サービスをスケールさせたりすることが可能になるからだ。

その実現に向けて選ばれたのがKafkaである。採用の最大の理由はサービス間のデータ連携で「メッセージキューイング(MQ)」が利用でき、データの「順序性」と「信頼性」を確保可能なことにあった。吉川氏は、「データの受け渡しでは、API連携が真っ先に浮かぶかも知れません。しかし、レート配信では、相手先に正しい順序でデータが配信され、失われた場合には再送するなど、信頼性を担保可能な仕組みが不可欠です。対してAPI連携ではサービスを並列化させた際に、データの到達順序や整合性を担保することが難しいと懸念していました」と振り返る。

「MQであれば、生成されたレートを順序通りに蓄積、全てのサービスに対して同一の順序で確実にデータを配信することが可能となります。MQ製品はKafkaの他にもありましたが、社内で比較した結果、機能性に加え、データロストが無いといった金融業界の求める信頼性と順序性を確実に担保可能であったことがKafkaを選んだ理由となりました」(吉川氏)

金融システムの安定運用を支えるサポートを期待し、Confluentを採用

「とはいえKafkaはオープンソースソフトウェアであり、社内のリソースだけで保守・運用を行うには、高い技術的ハードルと負担が生じます。実際、停止が許されない金融システムとして利用する以上、万が一障害が起きたときにKafkaに起因する障害は誰がどのように解決してくれるのか。そのためだけに社内に体制を構築するのは難しく、また、日々の運用監視についても同様でした。そうしたことから安定稼働を支える運用・監視機能に加え、信頼できる商用サポートも不可欠でした」と、吉川氏は振り返る。

これら問題を解決するためにSBIリクイディティ・マーケットが選択したのが、「Confluent」だ。商用版としてKafkaのコア機能に加え、データ処理機能や運用監視機能を付加したフルマネージドサービスとして提供するもの。運用監視では、GUIのダッシュボードを用いて主要な操作を管理したり、各サービスの状態やパフォーマンスを監視したりすることが容易に行えるようになる。

「また、Kafkaの開発コミュニティに多数のコミッターを擁する技術力の高さに加え、日本法人があり、日本語による手厚いサポートが受けられる点もConfluentを選択した決め手となりました。金融機関における国内外での豊富な導入実績も安心感に繋がりました」(吉川氏)

Confluent Japanの手厚いサポートでスムーズな導入を実現

2022年1月からConfluentを活用した新プラットフォームの開発がスタート。Confluent Japanの手厚い支援も奏功し、2023年9月には無事、本番運用を迎えられた。「特にサポートで印象に残ったのは、Confluent Japanのエンジニアが、当社が開発したプログラムのソースコードのレベルまでレビューしてくれたことです。これは導入企業としては非常に心強い支援であり、開発期間の短縮や品質向上をもたらしてくれました」と吉川氏は評価する。

「事実、Confluent Japanの手厚いサポートによりアプリケーション開発がスムーズに進み、確保された余裕はデータ移行などの作業に活用できました。このほか、監視ツールである『Datadog』との連携でも、監視対象にすべきメトリクスや運用監視の設計について具体的なアドバイスをもらえたことは、現在の安定稼働に繋がっていると考えています」(吉川氏)

金融取引に求められるリアルタイム性と可用性を大幅に向上

現在、各種サービス間における為替レートや顧客からの注文、取引結果等、取引に関するデータのやり取りは、Kafkaを経由して行われている。これにより、アプリケーションに依存することなく、レートの順序性や同一性、重複チェックを担保した並列処理が実現されている。

「従来はデータベースへの書き込み完了を待ってから後続処理を行う直列型でしたが、新システムではKafkaにデータを投入した時点で、レート配信やロスカット判定、通知などの各マイクロサービスが並行型でデータを取得・処理できるようになっています。結果、一部のバックエンド処理が遅延しても顧客へのレート配信は途切れることなく継続され、顧客は“鮮度”の高いデータが常に使えるようになりました。また、システムの可用性と信頼性についても期待通りの結果を残しており、システム移行後もデータのロストや不整合なども全く起きておりません」(吉川氏)

リアルタイム連携のためにデータベースに集中していた処理や、毎秒数百回以上に達する各サービスからの膨大なアクセスもほぼなくなった。結果、データベースの処理負荷に常に神経を尖らせることなく、適材適所のシステム運用が可能となったことも大きなメリットだ。「秒間20件にのぼるレート情報のデータを扱えるようにするために、100ミリ秒のバッチ処理を早める努力ではなく、アプローチを変えアーキテクチャを変えることで実現ができました」(吉川氏)

マイクロサービス化により負荷に応じて執行サービスの処理を分散、スケールできるようになったことに加え、今後のシステム変更にも容易に対応可能な柔軟性と拡張性がもたらされている。

今後は、SBIリクイディティ・マーケットの取引データに加えて、顧客の行動ログ等の膨大なデータも集約し、社内ユーザーによる自由分析をはじめ、リアルタイムでの不正検知等、セキュリティ強化にも役立てていく構想だ。さらにAI技術との連携基盤としてもこのデータ基盤を活用し、より高度なデータ分析や新サービスの創出に繋げていきたいという。

ミッションクリティカルな金融ビジネスを支える基盤を、積極的に新技術を採用することにより、多くのメリットを獲得できたSBIリクイディティ・マーケット。最後に吉川氏は、「SBIグループは、技術的な挑戦を推奨する文化を有した企業です。引き続き、Confluentを活用しながら、さらなるシステム高度化とビジネス価値の創出にチャレンジしていきたいと考えています」と意欲を語った。

その他の顧客事例を見る

Mercari Logo

mercari

メルカリのマーケットプレイスアプリにリアルタイムデータが必要な理由

Confluent Cloud
logo-Buzzvil

Buzzvil

Buzzvil Seamlessly Manages Massive Volumes of Real-Time Ad Data with Confluent Cloud

Confluent Cloud
logo-Kakao Games

Kakao Games

Kakao Games Uses Confluent to Track In-Game Abuse in Real Time

Confluent Platform