企業はソフトウェアやアプリケーションを統合して、データセットが適切に準備され、不良データを削除するために最大限の利点を活用できるようにします。 具体的には、どのソースにデータ品質の問題が発生しているか、または引き起こされているかを判断できます。これは、最終的には全体的なビジネス運営および財務上の成功に影響を与えます。 このプロセスでは、必要なデータ品質評価も実行されます。

データ・プロファイリングの最初のステップは、分析のためにデータ・ソースと関連するメタデータを収集することであり、多くの場合、外部キー・リレーションシップの検出につながる可能性があります。 次の手順では、データをクリーンアップして統一された構造を確保し、重複を排除することを目的としています。 データがクリーニングされると、データプロファイリングソフトウェアはデータセットを記述する統計を返し、平均値、最小値/最大値、頻度などを含めることができます。 以下では、適切なデータプロファイリング手法の概要を説明します。

データマイニングと重複する部分もありますが、データプロファイリングには別の目的があります。違いは何ですか?

• データ プロファイリングはデータとその特性を理解するのに役立ちますが、データ マイニングはデータを分析してパターンや傾向を発見するプロセスです。

• データ プロファイリングは、メタデータの収集と、それを分析してデータ管理をサポートする方法に重点を置いています。

• データ プロファイリング (データ マイニングとは異なります) は、データの特性の概要を生成し、データの使用を可能にします。

言い換えれば、データ・プロファイリングは、データが正確であり、不正確な点がないことを確認するために使用するツールの最初のものである。

データ プロファイリングは、組織がデータを処理する方法の重要な部分である必要があり、企業はデータ クリーニングの重要な要素としてデータ プロファイリングを検討する必要があります。 データを理解するのに役立つだけでなく、データが標準の統計的尺度に準拠していることを検証することもできます。 アナリストのチームはさまざまな方法でデータ プロファイリングにアプローチできますが、通常は、データの品質を向上させ、より深く理解するという同じ目標を念頭に置いて、3 つの主要なカテゴリに分類されます。

アナリストがデータをプロファイリングするために使用する可能性のあるアプローチは次のとおりです。

• 構造の発見:このアプローチは、データの形式に焦点を当て、データベース全体で一貫性を保つことに重点を置いています。 アナリストがデータベースを調べるときに、このタイプのプロセスを使用する可能性があるさまざまなプロセスがあります。 1 つはパターンマッチングで、フォーマット固有の情報を理解するのに役立ちます。 この例としては、電話番号を並べているときに値が欠落している場合があります。 これは構造発見で捉えられる可能性のあるものです。
• コンテンツの発見：このタイプは、データ行にエラーやシステム的な問題がないか分析するものである。 このプロセスでは、データベースの個々の要素を詳しく調べるため、誤った値を見つけるのに役立ちます。
• 関係性の発見：このタイプは、どのようなデータが使用されているかを見つけ、各セット間の関連を見つけようとするものである。 そのために、アナリストはメタデータ分析から始めて、データ間の関係を把握し、特定のフィールド間のつながりを絞り込んでいく。
  

一般に、データのプロファイリング時に問題が発生することはほとんどありません。 十分な量のデータがある場合と、データの質が重要になるのは別の話であり、そこでデータ プロファイリングが重要になります。 正確にフォーマットされた標準化されたデータがある場合、クライアントが不満を抱いたり、コミュニケーションに誤りが生じる可能性はほとんど、あるいはまったくありません。

たとえば、データが 1 か所にすべて揃っていない場合、見つけるのが非常に困難になるため、問題のほとんどは本質的にシステム的なものです。 しかし、特定のデータ ツールやアプリケーションをインストールする場合、それは問題にはならず、企業の意思決定に関してのみ利益をもたらします。 その他の主な利点と課題を詳しく見てみましょう。

メリット

データ プロファイリングは、他のツールとは異なり、データの高レベルの概要を提供します。 具体的には、次のことが期待できます。

• より正確な分析：完全なデータ・プロファイリングにより、より高品質で信頼性の高いデータが保証される。 データを適切にプロファイリングすると、さまざまなデータセットとソース間の関係をよりよく理解できるようになり、データ ガバナンス手順のサポートに役立ちます。

• 情報を一元管理:データプロファイリングを通じてデータを調査および分析することで、データ品質が大幅に向上し、整理されたデータ品質が得られることが期待できます。 ソースデータを確認することで、エラーがなくなり、最も問題のある領域が明らかになります。 そうすれば、データを可能な限り最善の方法で一元化する洞察と整理が可能になります。

課題

データ プロファイリングの課題は通常、関連する作業の複雑さに起因します。 より具体的には、次のことが期待できます。

• 費用と時間がかかる:一般的な組織で収集されるデータ量が非常に多いこともあり、成功したプログラムを実装しようとすると、データプロファイリングが非常に複雑になることがあります。 訓練を受けた専門家を雇って結果を分析し、適切なツールなしで意思決定を行うには、非常に費用がかかり、時間のかかる作業になる可能性があります。

• リソース不足：データプロファイリングプロセスを開始するためには、企業のデータが一箇所にまとまっている必要があるが、そうでない場合も多い。 データがさまざまな部門にまたがっており、訓練を受けたデータ専門家が配置されていない場合、企業全体のデータ プロファイリングが非常に困難になる可能性があります。

どのようなアプローチであっても、次のデータ プロファイリング ツールとベスト プラクティスにより、データ プロファイリングの精度と効率が最適化されます。

列プロファイリング:このメソッドはテーブルをスキャンし、各列に各値が表示される回数をカウントします。 列プロファイリングは、列内の頻度分布とパターンを見つけるのに役立ちます。

クロス・カラム・プロファイリング：このテクニックは、キー分析と依存分析という2つのプロセスで構成されている。 キー分析プロセスでは、可能性のある主キーを探し出すことによって属性値の配列を調べます。 一方、依存関係分析プロセスは、データ セット内にどのような関係やパターンが埋め込まれているかを特定するために機能します。

クロステーブル・プロファイリング：この手法は、キー分析を使って迷走データを特定する。 外部キー分析では、孤立したレコードや一般的な差異を特定し、異なるテーブルの列セット間の関係を調べます。

データルールの検証：この手法では、データセットを確立されたルールや標準に照らして評価し、実際に定義済みのルールに従っているかどうかを検証する。

キーの完全性：鍵が常にデータ内に存在することを保証し、問題となりうるオーファンキーを特定する。

カーディナリティ：この手法では、データセット間の1対1や1対多などの関係をチェックする。

パターンと度数分布：このテクニックは、データフィールドが正しくフォーマットされていることを保証する。

データプロファイリングは、業界を問わずさまざまな状況で精度、品質、使いやすさを向上させることができますが、より顕著なユースケースには次のものがあります。

データの変換：データを処理する前に、使用可能で整理された集合に変換する必要がある。 これは、予測モデルを作成してデータを調べる前の重要なステップであるため、これらのステップの前にデータ プロファイリングを実行する必要があります。 これは、データ変換を強化するために構築されたクラウドネイティブ データベースであるIBM Db2によって実現できます。

さらに、ELT (追加、ロード、変換) と ETL (抽出、変換、ロード) は、生データをソース システムからターゲット データベースに移動するデータ統合プロセスです。 IBM は、ビジネス対応のデータ パイプラインをサポートし、企業が効率的に拡張するために必要なツールを提供するデータ統合サービスとソリューションを提供します。

データの統合複数のデータセットを適切に統合するには、まず各データセット間の関係を理解する必要がある。 これは、データのメトリクスを理解し、それらをリンクする方法を決定する際に重要なステップです。

クエリーの最適化貴社に関する最も正確で最適化された情報を得たいのであれば、データ・プロファイリングが鍵となります。 データ プロファイリングでは、データベースの特性に関する情報が考慮され、各データベースに関する統計が作成されます。IBM i 7.2 ソフトウェアは、まさにこの目的のためにデータベース パフォーマンスとクエリの最適化を提供します。データベース ターニングの目的は、システム リソースを最大限に活用して、クエリの応答時間を最小限に抑えることです。