Troubleshooting
Problem
この技術書では、QRadar アプリケーション・ログの PIPELINE STATUS メッセージの内容についてご案内します。
/var/log/qradar.log ファイル内の PIPELINE STATUS メッセージは、パイプラインのキューの状態を示し、注意が必要な症状の情報についても表示します。
[ecs-ep.ecs-ep] [[type=com.eventgnosis.system.ThreadedEventProcessor][parent=<hostname>:ecs-ep/EP/Processor2]]
com.q1labs.sem.monitors.PipelineStatusMonitor: [INFO] ---- PIPELINE STATUS -- Initiated From: EPCRE
Symptom
内容はさまざまですが、通常はイベントが除去されたり、イベントがストレージに送信された情報を表示します。
除去されたイベント・ログの例 :
[ecs-ep.ecs-ep] [5bbe913a-55e2-494e-b712-4a0ecf0ec78e/SequentialEventDispatcher] com.q1labs.sem.monitors.ECSQueueMonitor: [WARN] [NOT:0060005100][x.x.x.x/- -] [-/- -]ECS Queue Monitor has detected a total of 10228 dropped event(s). 1252 event(s) were dropped in the last 60 seconds. EP Queues: 1252 dropped event(s). MPC Queues: 0 dropped event(s).
保管されたイベント・ログの例 :
[ecs-ep.ecs-ep] [[type=com.eventgnosis.system.ThreadedEventProcessor][parent=<hostname>:ecs-ep/EP/Processor2]] com.q1labs.semsources.cre.CRE: [WARN] [NOT:0080004101][x.x.x.x/- -] [-/- -]Custom Rule Engine has sent a total of 787911838 event(s) directly to storage. 99125 event(s) were sent in the last 60 seconds. Queue is at 100 percent capacity.
Cause
原因は、「 Initiated From 」フィールドの後に表示されるパイプラインの部分に基づいて判断することができます。一般的な値は以下の通りです。:
- DSM フィルター
- データが正しく正規化されていません。 (つまり、Linux PAM ログを Unity One イベントとして解析します)
- 拡張機能 ( 最適化 ) で解析を有効にすると、高負荷なカスタム・プロパティが発生します。
- ログ・ソースの構成が正しくないため、解析や正規化に時間がかかります。
- 高負荷なログ・ソース拡張機能が使用されています。
- イベントを部分的に取り込みます。これは通常、ペイロード・サイズの大きさが足りず、ログ・ソースが同じログ・ソース ID からイベントの半分を送信している場合に起こります。すべてのペイロードが完全であることを確認することが重要です。
- トラフィック分析
- 識別しにくいデバイスからデータが送信されています。ログ・ソースの構成が間違っている可能性があります。
- QRadar がサポートしていない不明なログ・ソース (またはサポートしていないログのサブセット) が原因で、すべての自動検出に時間がかかります。
- EPCRE
- 一部のルールが適切に構成されていない可能性があり、そのためにエンジンでの負荷が高くなります。
- ペイロードに関連するルール・テストの負荷が高く、性能低下を招く可能性があります。
Environment
EC、EP、Console など、パフォーマンス低下が発生している QRadar ホスト（例えば、保存されたイベントや除去されたイベント）。
" PIPELINE STATUS " メッセージは、/var/log/qradar.log に記録されます。
" PIPELINE STATUS " メッセージは、/var/log/qradar.log に記録されます。
Resolving The Problem
以下のコマンドを使用すると、出力が簡略化されます。:
grep -i 'Pipeline' /var/log/qradar.log | sed -s 's/::fff.*-]//' | less
サンプル出力は次のようになります:
---- PIPELINE STATUS -- Initiated From: EPCRE
MPC (Filters: 0.00 pc) (Queues: 0.00 pc) (Sources: 0.00 pc)
EC_Ingress (Filters: 0.00 pc) (Queues: 0.00 pc) (Sources: 0.00 pc)
EC (Filters: 0.00 pc) (Queues: 0.00 pc) (Sources: 0.00 pc)
EP (Filters: 55.56 pc) (Queues: 1.14 pc) (Sources: 0.00 pc)
100.00 pc - Filter:CRE EP (100000/100000)
0.66 pc - Queue:Q1From_EC_via_TCPIP (66/10000)
99.60 pc - Queue:Processor1 (249/250)
42.80 pc - Queue:AnalyticStack/NTAProcessor (107/250)
0.80 pc - Queue:AnalyticStack (2/250)
100.00 pc - Queue:EntryRouterStack (250/250)
100.00 pc - Queue:Processor2 (250/250)
この場合、フィルター: CRE EP キューは 100 % です。これは、カスタム・ルール・エンジンが負荷の対処に逼迫していることを意味します。これは、高負荷なルールが原因である可能性があります。
以下のドキュメントでは、最も一般的なパイプラインのパフォーマンスに関する問題を扱っています。高負荷な DSM と CEP :
高負荷なカスタム・ルール :
Related Information
Document Location
Worldwide
[{"Type":"MASTER","Line of Business":{"code":"LOB24","label":"Security Software"},"Business Unit":{"code":"BU059","label":"IBM Software w\/o TPS"},"Product":{"code":"SSBQAC","label":"IBM Security QRadar SIEM"},"ARM Category":[{"code":"a8m0z000000cwtiAAA","label":"Performance"}],"ARM Case Number":"","Platform":[{"code":"PF016","label":"Linux"}],"Version":"All Versions"}]
Was this topic helpful?
Document Information
Modified date:
12 February 2023
UID
ibm16855335