このData Quality for AI（略してDQAI）サービスのフレームワークは、モデル開発者やデータサイエンティストが、モデル開発ライフサイクルの中で最も時間がかかる前段階であるデータ準備の正式かつ体系的なプログラムを実施できるようにするためのすべてのツールを提供します。このフレームワークは、教師あり分類タスクまたは回帰タスクのために準備されたデータに適しています。これには、次の目的に必要なソフトウェアが含まれています。
— 品質チェックを実施します。
— 修復を実行します。
- 監査レポートを生成します。
— 上記をすべて自動化します。
タスクのパイプライン化はスケーラビリティと再現性にとって不可欠ですが、含まれている機能はカスタム・データの探索や人によるモデルの改善にも使用できます。含まれるサービスの利用は、モデル開発ライフサイクルのどの段階でも生産的です。このサービスは、データ処理の初期段階、つまりデータ準備段階で特に価値があるように設計されています。
元のデータソースで実現できるすべてのことに加えて、入力データセットから開始して、元のデータの制約を学習するか、開発者が制約を指定することによって、補足または置換のために新しいデータを合成するのに役立つ方法があります。これは、規制または契約上の問題によりモデリング作業でのデータの直接使用が禁止されている場合、さまざまな制約を持つデータセットを探索することが望ましい場合、またはトレーニングにさらに多くのデータが必要な場合に役立ちます。
この製品は、表形式データと時系列データの両方、および開発中の新しいサポート対象モダリティでの使用に適しています。
品質スコアとそれらの品質スコアに関する洞察。スコアを低下させる原因となっているデータの特定の領域を指摘し、そのようなデータ領域を改善する方法も推奨します。
品質分析手法によって提供された推奨事項を実行します。 このツールキットは、表形式データや時系列データなど、さまざまなデータ・タイプをサポートしています。
システムはデータの特性 (境界、ギャップなど) を学習することも、ユーザーが指定することもできます。
最初のデータセットの特性と分布を持つ新しいデータセットを生成します。
バリデーターとリメディエーターを制約と組み合わせて、ユースケースまたはアプリケーションのワークフローに対処し、全体的なデータ品質スコアを出力します。
品質メトリクスの差分変化と適用されたデータ変換を記録する、変更の自動文書化
Data Quality for AIは、多くの公的に利用可能なアルゴリズムや、IBM Researchが独占的に開発した新しい手法に対する単一の互換性のあるソースとして機能します。
下流のタスクで試行される実験と実現された回帰の数を減らすことで、モデリング作業の価値を実現するまでの時間を短縮します。
データ準備のプロセスを形式化および簡素化するツールを提供することで、企業全体でのAI導入の障壁を低くします。
AIスチュワード、データサイエンティスト、対象分野の専門家、AIリスク責任者、ビジネス・ユーザーの定義された役割の業務効率と生産性を横断的に改善します。