データ・ウェアハウスとは。| IBM

データ・ウェアハウスとは。

データウェアハウスまたはエンタープライズデータウェアハウス (EDW) は、さまざまなソースからのデータを単一の中央の一貫したデータストアに集約して、データ分析、データマイニング、人工知能 (AI) 、および機械学習をサポートするシステムです。

データウェアハウスシステムを使用すると、組織は標準のデータベースでは不可能な方法で、大量のデータ (ペタバイト単位) に対して強力な分析を実行できます。

データウェアハウジングシステムは、30年以上にわたってビジネスインテリジェンス（BI）ソリューションの一部であったが、新しいデータタイプやデータホスティング手法の出現により、近年進化を遂げている。従来、データウェアハウスはオンプレミス（多くの場合はメインフレームコンピュータ）でホストされていました。その機能は、他のソースからのデータの抽出、データのクレンジングと準備、リレーショナルデータベースへのデータのロードと管理に重点を置いていました。最近では、データウェアハウスは専用アプライアンスやクラウド上でホストされることもあり、ほとんどのデータウェアハウスには分析機能やデータの可視化・表示ツールが追加されている。

AIガバナンスの活用で責任あるAIワークフローを構築

チームが責任あるAIを加速するのに役立つ構成要素とベスト・プラクティスについて説明します。

関連コンテンツ

Prestoに電子書籍を登録する

データウェアハウスアーキテクチャ

一般的に、データウェアハウスは3層構造になっている：

最下層: 最下層は、抽出、変換、ロード (ETL) と呼ばれるプロセスまたは抽出、読み込み、変換 (ELT) と呼ばれるプロセスを通じて、複数のデータソースからデータを収集、クレンジング、変換するデータウェアハウスサーバー (通常はリレーショナルデータベースシステム) で構成されます。 ETLを使用するほとんどの組織では、プロセスは自動化に依存し、効率的で、明確に定義され、継続的で、バッチ駆動である。
中間層: 中間層は、高速なクエリ速度を可能にする OLAP (オンライン分析処理) サーバーで構成されます。この層では、ROLAP、MOLAP、および HOLAP と呼ばれる 3 種類の OLAP モデルを使用できます。使用されるOLAPモデルのタイプは、存在するデータベースシステムのタイプに依存する。
最上位層：最上位層は、ある種のフロントエンド・ユーザー・インターフェースやレポーティング・ツールで代表され、エンド・ユーザーがビジネス・データに対してアドホックなデータ分析を行うことを可能にする。

データウェアハウスアーキテクチャの短い歴史

ほとんどのデータウェアハウスは、オンプレミスまたはクラウドでリレーショナルデータベースシステムを中心に構築され、データはそこで保存および処理されます。その他のコンポーネントには、メタデータ管理システムと、ウェアハウスが組織ソースからデータを取得し、分析および視覚化ツールへのアクセスを提供できるようにする API 接続レイヤーが含まれます。

一般的なデータウェアハウスには、中央データベース、ETL ツール、メタデータ、アクセスツールという 4 つの主要コンポーネントがあります。これらのコンポーネントはすべて速度を重視して設計されているため、結果を迅速に取得し、その場でデータを分析できます。

データウェアハウスは何十年も前から存在しています。 1980 年代に誕生し、データ分析を最適化する必要性に対処しました。企業のビジネスアプリケーションが成長し、より多くのデータを生成/保存し始めると、データの管理と分析の両方ができるデータウェアハウスシステムが必要になりました。大まかに言うと、データベース管理者は運用システムからデータを取得し、データウェアハウスにロードする前に、変換によってデータにスキーマを追加できます。

データウェアハウスアーキテクチャが進化し、人気が高まるにつれて、企業内のより多くの人がデータウェアハウスアーキテクチャを使用してデータにアクセスするようになり、データウェアハウスによって構造化データを使用することが容易になりました。ここでメタデータが重要になります。レポートとダッシュボードが主要な使用例となり、SQL (構造化クエリ言語) がそのデータを操作するための事実上の方法になりました。

データウェアハウスアーキテクチャのコンポーネント

各コンポーネントを詳しく見てみましょう。

ETL

データベースアナリストがデータソースからデータウェアハウスにデータを移動する場合、これが使用されるプロセスです。つまり、ETL はデータを使用可能な形式に変換し、データウェアハウスに入ると分析/クエリなどができるようにします。

メタデータ

メタデータはデータに関するデータです。基本的に、システムに保存され、検索可能にするすべてのデータを記述します。メタデータの例としては、著者、記事の日付や場所、ファイルの作成日、ファイルのサイズなどが挙げられます。スプレッドシートの列のタイトルのようなものだと考えてください。メタデータを使用すると、データを整理して使いやすくし、分析してダッシュボードやレポートを作成できます。

SQLクエリ処理

SQLは、データをクエリするための事実上の標準言語です。これは、アナリストがデータウェアハウスに保存されているデータから洞察を引き出すために使用する言語です。通常、データウェアハウスには、コンピューティングと緊密に結合された独自の SQL クエリ処理テクノロジが搭載されています。これにより、分析の際に非常に高いパフォーマンスを実現できます。ただし、注意すべき点が 1 つあります。データウェアハウスのコストは、データおよび SQL コンピューティングリソースが増えるほど高額になる可能性があるということです。

データレイヤー

データ層は、ユーザーが実際にデータにアクセスできるようにするアクセス層です。通常、ここにデータマートが存在します。このレイヤーは、アクセス権を誰に付与するかに応じてデータのセグメントを分割するため、組織全体で非常にきめ細かいアクセスを許可できます。たとえば、営業チームに人事チームのデータへのアクセスを許可したくない場合や、その逆の場合も同様です。

ガバナンスとセキュリティ

これは、組織のすべてのデータに対してきめ細かいアクセスポリシーとセキュリティポリシーを提供できる必要があるという点で、データ層に関連しています。通常、データウェアハウスには非常に優れたデータガバナンスとセキュリティ機能が組み込まれているため、これを組み込むために多くのカスタムデータエンジニアリング作業を行う必要はありません。ウェアハウスにデータを追加したり、会社が成長したりするにつれて、ガバナンスとセキュリティを計画することが重要です。

+ データウェアハウスアクセスツール

アクセスツールはデータウェアハウスの外部にありますが、ビジネスユーザーにとって使いやすいフロントエンドと見なすことができます。ここには、データアナリストやビジネスユーザーがデータを操作したり、洞察を抽出したり、他の企業が使用できる視覚化を作成したりするために使用するレポートおよび視覚化ツールがあります。これらのツールの例としては、Tableau、Looker、Qlikなどがあります。

データウェアハウスにおけるOLAPとOLTPの理解

OLAP (オンライン分析処理) は、データウェアハウスなどの統合された一元的なデータストアからの大量のデータに対して、高速に多次元分析を実行するためのソフトウェアです。 OLTP (オンライントランザクション処理) は、通常はインターネット経由で、多数の人による大量のデータベーストランザクションのリアルタイム実行を可能にします。 OLAPとOLTPの間の主な違いは、名前にあります。OLAPは本質的に分析を意味し、OLTPはトランザクションを意味します。

OLAP ツールは、履歴データとトランザクションデータの両方を含むデータウェアハウス内のデータを多次元分析するために設計されています。 OLAPの一般的な用途には、データ・マイニングやその他のビジネス・インテリジェンス・アプリケーション、複雑な解析計算、予測シナリオのほか、財務分析、予算編成、予測プランニングのようなビジネス・レポート作成機能があります。

OLTPは、最近のトランザクションをできるだけ迅速かつ正確に処理してトランザクション指向のアプリケーションをサポートするように設計されています。OLTPの一般的な用途には、ATM、電子商取引ソフトウェア、クレジット・カード決済システム、オンライン予約、予約システム、記録管理ツールなどがあります。

この2つのアプローチの違いについて詳しくは、「OLAP vs. OLTP: What's the Difference?」を参照してください。

データウェアハウスのスキーマ

スキーマは、データベースまたはデータウェアハウス内でデータを編成する方法です。スキーマ構造には、スタースキーマとスノーフレークスキーマという 2 つの主なタイプがあり、データモデルの設計に影響を与えます。

スター・スキーマ： このスキーマは、複数の非正規化ディメンジョン・テーブルに結合可能な 1 つのファクト・テーブルで構成されます。これは最も単純で最も一般的なタイプのスキーマと考えられており、ユーザーはクエリ時の高速化の恩恵を受けます。

スノーフレークスキーマ:スノーフレークスキーマは、それほど広く採用されていませんが、データウェアハウスの別の組織構造です。この場合、ファクトテーブルは多数の正規化されたディメンションテーブルに接続され、これらのディメンションテーブルには子テーブルがあります。スノーフレークスキーマのユーザーは、その低レベルのデータ冗長性の恩恵を受けますが、クエリのパフォーマンスにコストがかかります。

データウェアハウスとデータベース、データレイク、データマートの比較

データウェアハウス、データベース、データレイク、データマートはすべて、同じ意味で使用されることが多い用語です。用語は似ているが、重要な違いがある：

データウェアハウスとデータレイク

データウェアハウスは、データパイプラインを使用して、複数のソースから生データを中央リポジトリに収集します。この中央リポジトリは、データ分析用に設計された事前定義されたスキーマを使用して構造化されています。データレイクは、事前定義されたスキーマのないデータウェアハウスです。その結果、データウェアハウスよりも多くの種類の分析が可能になります。データレイクは通常、Apache Hadoop などのビッグデータプラットフォーム上に構築されます。

データウェアハウスとデータマート

データマートは、特定の事業分野または部門に固有のデータを含むデータウェアハウスのサブセットです。データマートには、より小さなデータのサブセットが含まれているため、部門や事業部門は、より広範なデータウェアハウスのデータセットを操作するときに、より焦点を絞った洞察を可能な限り迅速に発見できます。

データウェアハウスとデータベース

データベースは、分析ではなく、主に高速なクエリとトランザクション処理を目的として構築されています。通常、データベースは特定のアプリケーションに特化したデータストアとして機能しますが、データウェアハウスは組織内の任意の数 (またはすべて) のアプリケーションからのデータを保存します。

データベースはリアルタイムデータの更新に重点を置いていますが、データウェアハウスはより広い範囲を持ち、予測分析、機械学習、およびその他の高度なタイプの分析のために現在および過去のデータを取得します。

データ・ウェアハウスのタイプ

クラウドデータウェアハウス

クラウドデータウェアハウスは、クラウドで実行するために特別に構築されたデータウェアハウスであり、マネージドサービスとして顧客に提供されます。より多くの企業がクラウドコンピューティングサービスを利用し、オンプレミスのデータセンターの設置面積を削減しようとするにつれて、過去 5 ～ 7 年間でクラウドベースのデータウェアハウスの人気が高まっています。

クラウドデータウェアハウスでは、物理的なデータウェアハウスインフラストラクチャがクラウド会社によって管理されます。つまり、顧客はハードウェアやソフトウェアに先行投資する必要がなく、データウェアハウスソリューションを管理または保守する必要もありません。

データウェアハウス・ソフトウェア（オンプレミス／ライセンス）

企業はデータウェアハウスライセンスを購入し、自社のオンプレミスインフラストラクチャにデータウェアハウスを展開できます。これは通常、クラウドデータウェアハウスサービスよりも高価ですが、データをより詳細に制御したい場合や、厳格なセキュリティまたはデータプライバシーの標準や規制に準拠する必要がある政府機関、金融機関、その他の組織にとっては、より良い選択となる可能性があります。

データウェアハウスアプライアンス

データウェアハウスアプライアンスは、ハードウェアとソフトウェア(CPU、ストレージ、オペレーティングシステム、データウェアハウスソフトウェア)があらかじめ統合されたバンドルであり、企業はネットワークに接続してそのまま使用を開始できます。データウェアハウスアプライアンスは、初期費用、導入速度、スケーラビリティの容易さ、データ管理制御の点で、クラウドとオンプレミスの実装の中間に位置します。

データウェアハウスのメリット

データウェアハウスは、次の基盤を提供します。

データ品質の向上：データウェアハウスは、トランザクションシステム、業務データベース、フラットファイルなど、さまざまなデータソースからのデータを一元管理します。そして、運用データをクレンジングし、重複を排除して標準化し、真実の単一ソースを作成する。
より迅速なビジネス洞察 異なるソースからのデータでは、意思決定者が自信を持ってビジネス戦略を立てることができません。データウェアハウスはデータ統合を可能にし、ビジネスユーザーが企業のすべてのデータを各ビジネス上の意思決定に活用できるようにします。データウェアハウスのデータにより、エンジニアリング・ライフサイクル管理（ELM）アプリから収集したデータのテーマ、傾向、集計、その他の関係をレポートすることが可能になる。
よりスマートな意思決定:データウェアハウスは、データマイニング (データ内の目に見えないパターンや関係性を見つける)、人工知能、機械学習などの大規模な BI 機能をサポートします。これらのツールは、データプロフェッショナルやビジネスリーダーがよりスマートな意思決定を行うための確実な証拠を得るために使用できます。ビジネスプロセスから財務管理、在庫管理に至るまで、組織のほぼすべての領域で意思決定を行うことができます。
競争上の優位性の獲得と拡大:上記のすべてが組み合わさることで、組織は異なるデータストアから得られるよりも迅速に、データからより多くの機会を見つけるのに役立ちます。

データウェアハウスアーキテクチャの課題

企業がより多くのデータを保管し始め、より高度な分析と幅広いデータが必要になると、データウェアハウスは高価になり、柔軟性も低下します。非構造化データまたは半構造化データを分析する場合、データウェアハウスは機能しません。上記の問題に対処するために、データレイクハウスアーキテクチャに移行する企業が増えています。オープンデータレイクハウスを使用すると、オープンで柔軟なアーキテクチャであらゆる種類のデータに対してウェアハウスワークロードを実行できます。このデータは、ビジネス上の洞察を得るためにデータを研究するデータサイエンティストやエンジニアも使用できます。データレイクハウスは、密結合されたシステムの代わりにはるかに柔軟で、写真、ビデオ、IoT データなどの非構造化データおよび半構造化データも管理できます。

データレイクハウスは、レポートやダッシュボードのワークロードに加えて、データサイエンス、ML、AI のワークロードもサポートできます。データウェアハウスアーキテクチャからのアップグレードを検討している場合は、オープンデータレイクハウスの開発が最適です。