在 Watson OpenScale 中檢閱可解釋性

瞭解模型產生預測的原因很重要。 對於每一個 Watson OpenScale 部署,您可以查看特定交易的可解釋性資料。 視模型類型而定,評估結果可能包括不同類型的分析,例如 LIME、SHAP、對比說明或在資料上測試假設情境的能力。

當您在 Watson OpenScale中配置可解釋性時,您可以分析下列類型的說明,以協助您瞭解模型的行為:

  • LIME (Local Interpretable Model-Agnostic Explanations):
    LIME 透過分析最多 5000 個其他近端資料點,來識別特定資料點最重要的特性。 在理想的設定中,LIME 中重要性高的特性是對該特定資料點而言最重要的特性。
  • 對比解釋:
    對比解釋會計算需要變更多少值才能變更預測或維護相同的預測。 需要最大變更的因素被認為更為重要,因此在對比說明中具有最高重要性的特徵是模型最不敏感的特徵。 對於對比說明,Watson OpenScale 會顯示同一結果的最大變更數量以及已變更結果的最小變更數量。 這些種類也稱為相關正值和相關負值。 這些值有助於說明模型在為其產生說明的資料點附近的行為。
  • SHAP (Shapley Additive 說明):
    SHAP 是一種遊戲理論方法,可說明機器學習模型的輸出。 它會使用 Shapley 值及其相關延伸,將最佳信用配置與本地說明連接起來。 SHAP 會為每個模型特性指派特定預測的重要性值,稱為 Shapley 值。 Shapley 值是特徵值在所有可能的特徵群組中的平均邊際貢獻。 輸入特性的 SHAP 值是所說明之預測的基準線或預期模型輸出與現行模型輸出之間的差異總和。 基準線模型輸出可以基於訓練資料的摘要或必須為其產生解釋的任何資料子集。 可以結合一組交易的 Shapley 值來取得廣域說明,以提供模型的哪些特性最重要的概觀。

附註: Watson OpenScale 僅支援線上訂閱的廣域說明。 SHAP 說明僅支援表狀資料。

您可以在每一個模型評估之後分析特定交易的可說明性。 您配置的模型類型會決定您可以用來分析交易的解釋類型。 如需相關資訊,請參閱 解釋模型交易

分析說明

如果您在配置可解釋性時啟用 SHAP 廣域說明方法,則可以在儀表板上檢視 廣域說明穩定性 度量的詳細資料。 廣域解釋度量會計算廣域解釋在一段時間內的一致性程度。

「洞察」儀表板顯示廣域說明度量及最新評估中最重要的特性

評估 頁面上,當您按一下時間表圖表時,可以檢視下列詳細資料:

  • 特性影響: 以平均絕對 SHAP 值遞減順序的最重要特性
  • 分佈: 每個特性分佈的 SHAP 值
  • 比較: 特性變更會影響現行廣域與基準線廣域說明

您也可以透過調整模型交易值來測試假設情境,以判定不同的變更如何影響您的結果。

若要在時間表圖表上檢視模型評估的詳細說明,您可以完成下列步驟:

  • 解釋數 區段中,按一下數字鏈結。 在選取說明視窗中,按一下交易,然後按一下檢視
  • 對於公平性評估,請按一下公平性百分比鏈結。 按一下屬性(例如性別或年齡),然後按一下檢視交易
  • 對於漂移評估,請按一下漂移百分比鏈結。 按一下圖表,按一下漂移類型,然後按一下圖磚來查看與該特定漂移群組相關聯的交易。
  • 對於效能圖表,按一下任何百分比鏈結。 在效能區段中,按一下傳輸量,按一下圖表,然後按一下要檢視的交易後面的說明鏈結。

說明交易 標籤上,您可以完成下列步驟來檢視說明:

  1. 從 Watson OpenScale 導覽器中,按一下 說明交易 解釋交易

  2. 已部署模型 清單中選取模型。 最近交易 清單會顯示模型所處理的所有交易。 此清單包含的直欄提供每一個交易的輸出結果的詳細資料。

    交易清單

  3. 按一下 動作 直欄中的 說明 。 「 交易詳細資料 」頁面可讓您使用您選取的本端說明方法,來分析影響交易結果的因素。

    交易明細

    若要使用 SHAP 本端說明方法進行分析,您可以選取在 背景資料 功能表中使用的背景資料,以重新產生說明。

  4. 如需進一步分析,請按一下 檢查 標籤。 您可以設定新值,以判定交易的不同預測輸出結果。 設定新值之後,請按一下 執行分析 ,以顯示不同的值如何變更交易的結果。 檢查標籤上的交易詳細資料顯示可能產生不同結果的值

  5. 選用項目: 依交易 ID 檢視交易

    1. 從模型儀表板中,選取 公平性品質漂移的箭頭圖示。
    2. 按一下 檢視有效負載交易交易 清單會依其 ID 來排序所有模型交易,並提供偏誤、受監視屬性及預測輸出結果的相關詳細資料。
    3. 按一下 解釋預測。 這會將您帶至「 交易詳細資料 」頁面。
      附註: 如果您使用 PostgreSQL的內部精簡版本,則可能無法擷取資料庫認證。 這可能會阻止您查看交易。

附註: 每當將資料傳送至模型進行評分時, IBM Watson Machine Learning 會透過設定 X-Global-Transaction-Id 欄位在 HTTP 標頭中設定交易 ID。 此交易 ID 儲存在有效負載表格中。 若要找到特定評分的模型行為的說明,請指定與該評分要求相關聯的交易 ID。 此行為僅適用於 IBM Watson Machine Learning 交易,不適用於非 WML 交易。

後續步驟

說明模型交易

上層主題: 使用 Watson OpenScale檢閱模型見解