【重要】PowerHA 7.1以降の環境で、ifix 適用や TL/SPの更新、バージョンアップ等の作業を行う際は、PowerHA 停止及びグループ・サービスの DMS 無効化を行ってください(2020/01更新)

Flashes (Alerts)

Abstract

当面の間、PowerHA 7.1以降の環境で、ifix 適用や TL/SPの更新、バージョンアップ等の作業を行う際は、PowerHA の停止及びグループ・サービスの DMS を無効化してください。

Content

更新ログ

(2015/09/28 17:56) APARリスト更新
(2016/02/29 09:02) 「PowerHA 7.1クラスター・サービス、およびグループ・サービスの DMS 起動/停止手順」を「PowerHA 7.1クラスターの起動/停止、およびグループ・サービス・デーモンの DMS 起動/停止手順」として、クラスター全体に対する手順とノード毎の手順に分離
(2016/05/16 11:02) SP対応更新
(2016/09/01 14:07) iFix情報追記
(2020/01/09 18:23) 推奨ifixが適用されているAIXのTL/SP更新、バージョンアップ手順例追記
(2020/01/09 18:32) タイトル更新

【内容】

当テクニカル・フラッシュ発行時点で、RSCT の仕様変更により、PowerHA 7.1が導入された環境で AIX や PowerHA のメンテナンス実施時にシステム停止を伴う障害がいくつか報告されています。
当面の間、PowerHA 7.1以降の環境で、ifix 適用や TL/SPの更新、バージョンアップ等の作業を行う際は、PowerHA の停止及びグループ・サービスの DMS を無効化してください。
状況が変わりましたら、随時こちらのテクニカル・フラッシュにてお知らせします。

<2016/9/1追記>
テクニカル・フラッシュ「AIX V6.1 TL9/AIX V7.1 TL3/AIX V7.1 TL4/AIX V7.2 環境における CAA, RSCT, PowerHA 予防保守のための ifix 適用」で紹介されている　iFix (及びその前提となるTL/SP)を適用することにより、当テクニカル・フラッシュで述べられている手順が不要になります。
詳細につきましては、リンク先を参照してください。

<2020/01追記>
推奨ifixが適用されているAIXのTL/SP更新、バージョンアップは、ifixのロックにより失敗する可能性がある為、CAAクラスターを停止の上でifixを除去する手順として下さい。

PowerHAクラスターのローリング・マイグレーション手順例

1. 以下を各ノード分繰り返し
2. PowerHAクラスターの停止
    /usr/es/sbin/cluster/utilities/clmgr offline node <NODENAME> MANAGE=move STOP_CAA=yes  # マイグレーション元がPowerHA 7.1.3 SP01以降の場合
    /usr/es/sbin/cluster/utilities/clmgr offline node <NODENAME> MANAGE=move               # マイグレーション元がPowerHA 7.1.3 SP01未満の場合
3. CAAクラスターの停止
    clctrl -stop -n <CLUSTERNAME> -m <NODENAME>                                            # マイグレーション元がPowerHA 7.1.3 SP01未満の場合
4. ifixの確認、除去
    emgr -l
    emgr -r -L <LABEL>
5. AIX TL,SPマイグレーション
6. 新規CAA/RSCT ifixの導入(オプション)
    emgr -X -e <ifixファイル>
7. リブート
8. PowerHAのマイグレーション
9. 新規PowerHA ifixの導入(オプション)
    emgr -X -e <ifixファイル>
10. CAAクラスターの開始
    clctrl -start -n <CLUSTERNAME> -m <NODENAME>                                           # マイグレーション元がPowerHA 7.1.3 SP01未満の場合
11. PowerHAクラスターの開始
    /usr/es/sbin/cluster/utilities/clmgr online node <NODENAME>                            # マイグレーション元がPowerHA 7.1.3 SP01未満の場合
    /usr/es/sbin/cluster/utilities/clmgr online node <NODENAME> START_CAA=yes              # マイグレーション元がPowerHA 7.1.3 SP01以降の場合

PowerHAクラスターのオフライン・マイグレーション手順例

1. PowerHAクラスターの停止
    /usr/es/sbin/cluster/utilities/clmgr offline cluster STOP_CAA=yes                      # マイグレーション元がPowerHA 7.1.3 SP01以降の場合
    /usr/es/sbin/cluster/utilities/clmgr offline cluster                                   # マイグレーション元がPowerHA 7.1.3 SP01未満の場合
2. CAAクラスターの停止
    clctrl -stop -n <CLUSTERNAME> -a                                                       # マイグレーション元がPowerHA 7.1.3 SP01未満の場合
3. ifixの確認、除去
    emgr -l
    emgr -r -L <LABEL>
4. AIX TL,SPマイグレーション
5. 新規CAA/RSCT ifixの導入(オプション)
    emgr -X -e <ifixファイル>
6. リブート
7. PowerHAのマイグレーション
8. 新規PowerHA ifixの導入(オプション)
    emgr -X -e <ifixファイル>
9. CAAクラスターの開始
    clctrl -start -n <CLUSTERNAME> -a                                                       # マイグレーション元がPowerHA 7.1.3 SP01未満の場合
10. PowerHAクラスターの開始
    /usr/es/sbin/cluster/utilities/clmgr online cluster                                     # マイグレーション元がPowerHA 7.1.3 SP01未満の場合
    /usr/es/sbin/cluster/utilities/clmgr online cluster START_CAA=yes                       # マイグレーション元がPowerHA 7.1.3 SP01以降の場合

【PowerHA 7.1クラスターの起動/停止、およびグループ・サービス・デーモンの DMS 起動/停止手順】

全ノード上での停止/起動例 (リソース・グループはofflineになります)。

　停止：
　# /usr/es/sbin/cluster/utilities/clmgr offline cluster STOP_CAA=yes

　起動：
　# /usr/es/sbin/cluster/utilities/clmgr online cluster START_CAA=yes

ノード単位での停止/起動例 (そのノードで稼働していたリソース・グループは別ノードに引き継がれます)。

　停止：
　# /usr/es/sbin/cluster/utilities/clmgr offline node $(/usr/es/sbin/cluster/utilities/get_local_nodename) MANAGE=move STOP_CAA=yes

　起動：
　# /usr/es/sbin/cluster/utilities/clmgr online node $(/usr/es/sbin/cluster/utilities/get_local_nodename) START_CAA=yes

<上記以外>

全ノード上での停止/起動例 (リソース・グループはofflineになります。)

　停止：
　# /usr/es/sbin/cluster/utilities/clmgr offline cluster

　# lssrc -ls cthags | tail -3　　　　　　# *1

　# clcmd /usr/sbin/rsct/bin/hags_disable_client_kill -s cthags　　　# *1 に"クリティカル・クライアントは、応答がない場合に終了します"(Critical clients will be terminated if unresponsive)が含まれる場合
　# clcmd /usr/sbin/rsct/bin/hags_stopdms -s cthags　　　# *1 に"Dead Man Switch Enabled"が含まれる場合
　# clcmd stopsrc -s IBM.ConfigRM

　起動：
　# clcmd startsrc -s IBM.ConfigRM
　# clcmd /usr/sbin/rsct/bin/hags_startdms -s cthags　　　# *1 に"Dead Man Switch Enabled"が含まれる場合
　# clcmd /usr/sbin/rsct/bin/hags_ensable_client_kill -s cthags　　　# *1 に"クリティカル・クライアントは、応答がない場合に終了します"(Critical clients will be terminated if unresponsive)が含まれる場合

　# /usr/es/sbin/cluster/utilities/clmgr online cluster

ノード単位での停止/起動例 (そのノードで稼働していたリソース・グループは別ノードに引き継がれます。)

　停止：
　# /usr/es/sbin/cluster/utilities/clmgr offline node $(/usr/es/sbin/cluster/utilities/get_local_nodename) MANAGE=move

　# lssrc -ls cthags | tail -3　　　　　　# *1

　# /usr/sbin/rsct/bin/hags_disable_client_kill -s cthags　　　# *1 に"クリティカル・クライアントは、応答がない場合に終了します"(Critical clients will be terminated if unresponsive)が含まれる場合
　# /usr/sbin/rsct/bin/hags_stopdms -s cthags　　　# *1 に"Dead Man Switch Enabled"が含まれる場合
　# stopsrc -s IBM.ConfigRM

　起動：
　# startsrc -s IBM.ConfigRM
　# /usr/sbin/rsct/bin/hags_startdms -s cthags　　　# *1 に"Dead Man Switch Enabled"が含まれる場合
　# /usr/sbin/rsct/bin/hags_ensable_client_kill -s cthags　　　# *1 に"クリティカル・クライアントは、応答がない場合に終了します"(Critical clients will be terminated if unresponsive)が含まれる場合

　# /usr/es/sbin/cluster/utilities/clmgr online node $(/usr/es/sbin/cluster/utilities/get_local_nodename)

補足：
PowerHA 7.1.3 SP01以降の場合、clmgrコマンドのSTOP_CAA=yesオプションを使用して、PowerHAクラスターと同時に、DMSを持つグループ・サービス・デーモンそのものも停止させています。
PowerHA 7.1.3 SP01未満の場合、PowerHAクラスターは停止させますが、STOP_CAA=yesオプションが提供されずグループ・サービス・デーモンを停止させることが出来ない為、DMSに関連するオプションのみ停止させています。

参考：
clmgr コマンド
http://www.ibm.com/support/knowledgecenter/SSPHQG_7.1.0/com.ibm.powerha.admngd/clmgr_cmd.htm?lang=ja
http://www.ibm.com/support/knowledgecenter/SSPHQG_7.2.0/com.ibm.powerha.cmds/clmgr.htm?lang=ja

バージョンアップする前にmksysb取得する場合には、下記テクニカル・フラッシュをご参照ください。
「FAQ集 - mksysb -(pSeries-05-024)」( https://www.ibm.com/support/pages/node/648219 )内の「stopsrc -a 実施の注意点」

【参考】

<現在報告されているRSCT及びPowerHA関連の問題>

	対象	SP対応	対応filesetレベル
IV66606: NODE DOWN IN CAA CLUSTER DUE TO CONFIGRM MEMORY LEAK	AIX 7.1.3.0～7.1.3.3もしくは6.1.9.0～6.1.9.3 rsct.core.rmc 3.1.5.0～3.1.5.8	AIX 7100-03-05-1524 もしくは 6100-09-05-1524以降 (RSCTが3.1.5から3.2.0レベルに上がる。IV69760による対応)	rsct.core.rmc 3.1.5.9
IV69760: NODE DOWN IN CAA CLUSTER DUE TO CONFIGRM MEMORY LEAK	AIX 7.1.3.4もしくは6.1.9.4 rsct.core.rmc 3.2.0.0～3.2.0.4	AIX 7100-03-05-1524 もしくは 6100-09-05-1524以降 (RSCTは3.2.0レベルのまま)	rsct.core.rmc 3.2.0.5
IV71572: SHUTDOWN -F ON POWERHA MAY PANIC INSTEAD OF HALT		2015/09現在無し
IV59519: HA: SHUTDOWN -F MAY REBOOT INSTEAD OF HALT (7.1.3)		PowerHA-7.1.3 SP1
IV64113: HA: SHUTDOWN -F MAY REBOOT INSTEAD OF HALT (7.1.2)		PowerHA-7.1.2 SP5
IV61826: HA: SHUTDOWN -F MAY REBOOT INSTEAD OF HALT (7.1.1)		PowerHA-7.1.1 SP7
IV65638: CAA PARTITIONED CLUSTER CAUSED BY WAIT_ON_NODE_BRINGUP ERROR	bos.cluster.rte 6.1.8.20未満	AIX 6100-08-07-1524	bos.cluster.rte.6.1.8.20
IV65639: CAA PARTITIONED CLUSTER CAUSED BY WAIT_ON_NODE_BRINGUP ERROR (AIX V6.1 TL9 SP5)	bos.cluster.rte 6.1.9.45未満	AIX 6100-09-05-1524 (bos.cluster.rte.6.1.9.46)	bos.cluster.rte.6.1.9.45
IV65643: CAA PARTITIONED CLUSTER CAUSED BY WAIT_ON_NODE_BRINGUP ERROR	bos.cluster.rte 7.1.2.20未満	AIX 7100-02-07-1524	bos.cluster.rte 7.1.2.20
IV65472: CAA PARTITIONED CLUSTER CAUSED BY WAIT_ON_NODE_BRINGUP ERROR (AIX V7.1 TL3 SP5)	bos.cluster.rte 7.1.3.45未満	AIX 7100-03-05-1524 (bos.cluster.rte.7.1.3.46)	bos.cluster.rte 7.1.3.45
IV75395: CAA: INACTIVE NODE FAILS TO GENERATE REMOTE NODE_UP AHAFS EVENT	AIX 6100-08	2015/09現在無し Closed as fixed if next	2015/09現在無し Closed as fixed if next
IV73838: CAA: INACTIVE NODE FAILS TO GENERATE REMOTE NODE_UP AHAFS EVENT	AIX 6100-09	AIX 6100-09-06-1543	2015/09現在無し Closed as fixed if next
IV72703: CAA: INACTIVE NODE FAILS TO GENERATE REMOTE NODE_UP AHAFS EVENT	AIX 7100-02	2015/09現在無し Closed as fixed if next	2015/09現在無し Closed as fixed if next
IV73488: CAA: INACTIVE NODE FAILS TO GENERATE REMOTE NODE_UP AHAFS EVENT	AIX 7100-03	AIX 7100-03-06-1543	2015/09現在無し Closed as fixed if next
IV69839: NODE REBOOTS FOLLOWING POWERHA NON-DISRUPTIVE UPDATE (RSCT 3.1.5)	rsct.core.rmc.3.1.5.10未満	AIX 7100-03-05-1524 もしくは 6100-09-05-1524 (rsct.core.rmc.3.2.0.5。RSCTが3.1.5から3.2.0レベルに上がる。IV71619による対応)	rsct.core.rmc.3.1.5.10
IV71619: NODE REBOOTS FOLLOWING POWERHA NON-DISRUPTIVE UPDATE (RSCT 3.2)	rsct.core.rmc.3.2.0.5未満	AIX 7100-03-05-1524 もしくは 6100-09-05-1524 (rsct.core.rmc.3.2.0.5)	rsct.core.rmc.3.2.0.5

<関連するフラッシュ>

ConfigRM メモリー・リークにより CAA クラスターでノード・ダウンが発生する問題
https://www.ibm.com/support/pages/node/648175
RSCT 3.1.5.6/3.2.0.2 以上の PowerHA V7 構成ノードにおいて shutdown を実行するとカーネル・パニックが発生する問題の対処方法
https://www.ibm.com/support/pages/node/648203
Technical bulletin：IBM PowerHA SystemMirror for AIX - Potential Cluster Split Brain Risks
2) Split-Brain Condition during node reboots
http://www-01.ibm.com/support/docview.wss?uid=isg1SSRVPOCL_CLCL_HACMP141029-1629

以上

[{"Business Unit":{"code":"BU058","label":"IBM Infrastructure w\/TPS"},"Product":{"code":"HW1A1","label":"IBM Power Systems"},"Component":"PowerHA","Platform":[{"code":"PF002","label":"AIX"}],"Version":"7.1, 7.2","Edition":"","Line of Business":{"code":"LOB57","label":"Power"}}]

Tips

【重要】PowerHA 7.1以降の環境で、ifix 適用や TL/SPの更新、バージョンアップ等の作業を行う際は、PowerHA 停止及びグループ・サービスの DMS 無効化を行ってください(2020/01更新)

Flashes (Alerts)

Abstract

Content

Was this topic helpful?

Document Information

UID

Share your feedback

Need support?

Tips

【重要】PowerHA 7.1以降の環境で、ifix 適用や TL/SPの 更新、バージョンアップ等の作業を行う際は、PowerHA 停止及びグループ・サービスの DMS 無効化を行ってください(2020/01更新)

Flashes (Alerts)

Abstract

Content

Was this topic helpful?

Document Information

UID

Share your feedback

Need support?

【重要】PowerHA 7.1以降の環境で、ifix 適用や TL/SPの更新、バージョンアップ等の作業を行う際は、PowerHA 停止及びグループ・サービスの DMS 無効化を行ってください(2020/01更新)