データパイプラインとは？

データパイプラインの仕組みを理解するために、データソースから何かを受け取り、それを宛先に運ぶパイプラインを例に考えてみましょう。さまざまなソースからストレージメディアにデータを転送し、組織がアクセス、使用、分析できるようにするこのプロセスは、データの取り込みと呼ばれます。

データは、送信される過程で、ビジネスユースケースや宛先そのものに応じてさまざまなプロセスを経ます。データパイプラインは、データの抽出と読み込みから成る単純なプロセスである場合もあれば、予測分析や機械学習のためのデータウェアハウスなど、より高度な方法でデータを処理するよう設計されている場合もあります。

データがパイプライン内を移動する際には、抽出、管理、変換、データ仮想化の4つのプロセスが発生します。

データの抽出

データパイプラインそれぞれは、データセットか任意の数のソースから抽出された未加工のデータセットのコレクションから始まります。データには、データベーステーブル、ファイル名、Topic (Kafka) 、キュー (JMS) からファイルパス (HDFS) まで、幅広い形式があります。この段階ではデータの構造や分類がないデータダンプであり、この未加工の形式ではデータに意味を見出すことはできません。

データのガバナンス

データを使用する準備ができたら、大規模に整理する必要があります。この規律はデータガバナンスと呼ばれます。未加工データをそのビジネス上のコンテキストにリンクすることで、データは意味のあるものになります。その後、企業はデータの品質とセキュリティを管理し、大量消費できるように完全に整理します。

データの変換

データ変換のプロセスでは、データセットをクレンジングして変更し、正しいレポート形式にします。これには、不要や無効なデータの排除や、ビジネスニーズによって決定された規則や規制に従ってデータを充実化させるプロセスが含まれます。

データの仮想化

データが変換されると、信頼できるデータを最終的に共有する準備が整います。多くの場合、複数の関係者が簡単にアクセスできるよう、クラウドデータウェアハウスまたはエンドポイントアプリケーションにデータが出力されます。