Apache Kafka プロトコルの構成オプション

IBM QRadar は、 Apache Kafka プロトコルを使用して、コンシューマー API を使用する Kafka クラスター内のトピックからイベント・データのストリームを読み取ります。 トピックとは、メッセージが保管されパブリッシュされる Kafka のカテゴリー名またはフィード名です。 Apache Kafka プロトコルは、アウトバウンド・プロトコルまたはアクティブ・プロトコルであり、カスタム・ログ・ソース・タイプを使用することでゲートウェイ・ログ・ソースとして使用できます。

Apache Kafka プロトコルは、ほぼ全てのスケールのトピックをサポートしています。 単一のトピック (すべてのファイアウォールなど) から収集するように、複数の QRadar コレクション・ホスト (EP/EC) を構成できます。 詳しくは、 Kafka の資料 (http://kafka.apache.org/documentation/) を参照してください。

Apache Kafka プロトコル用のプロトコル固有のパラメーターについて、以下の表で説明します。
表 1. Apache Kafka プロトコルのパラメーター
パラメーター 説明
ログ・ソース ID

ログ・ソースの固有名を入力します。

「ログ・ソース ID」には、任意の有効な値を使用でき、特定のサーバーを参照する必要はありません。 また、 「ログ・ソース名」と同じ値にすることもできます。 複数の Apache Kafka ログ・ソースが構成されている場合は、それぞれに固有の名前を付けてください。

Bootstrap サーバー・リスト ブートストラップ・サーバー ( またはサーバー ) の <hostname/ip>:<port> 。 次の例のように、カンマ区切りのリストで複数のサーバーを指定できます: hostname1:9092,1.1.1.1:9092 fdff:ffff:ffff:ffff:ffff:ffff:ffff:ffff:ffff]:9092.
コンシューマー・グループ

このログ・ソースが属するコンシューマー・グループを識別する固有のストリングまたはラベル。

Kafka トピックにパブリッシュされている各レコードが、サブスクライブする各コンシューマー・グループ内の 1 つのコンシューマー・インスタンスに送信されます。 Kafka はこれらのラベルを使用して、グループ内のすべてのコンシューマー・インスタンスのレコードにロード・バランスを行えます。

トピックのサブスクリプション方法 (Topic Subscription Method) Kafka トピックにサブスクライブするために使用される方法。 特定のトピックのリストを指定するには、「トピックのリスト (List Topics)」オプションを使用します。 使用可能なトピックに対して突き合わせる正規表現を指定するには、「正規表現によるパターン・マッチング (Regex Pattern Matching)」オプションを使用します。
トピック・リスト

サブスクライブするトピック名のリスト。 リストはコンマで区切る必要があります。例: Topic1,Topic2,Topic3

このオプションは、「トピックのサブスクリプション方法 (Topic Subscription Method)」オプションで「トピックのリスト (List Topics)」が選択されている場合にのみ表示されます。

トピックのフィルター・パターン (Topic Filter Pattern)

サブスクライブするトピックに一致する正規表現。

このオプションは、「トピックのサブスクリプション方法 (Topic Subscription Method)」オプションで「正規表現によるパターン・マッチング (Regex Pattern Matching)」が選択されている場合にのみ表示されます。

SASL 認証の使用

このオプションは、SASL 認証構成オプションを表示します。

クライアント認証なしで使用する場合は、サーバー証明書のコピーを /opt/qradar/conf/trusted_certificates/ ディレクトリーに格納しておく必要があります。

SASLメカニズム Kafka 構成と互換性のある SASL メカニズムを選択します。
  • PLAIN
  • SCRAM-SHA-256
  • SCRAM-SHA-512
SASL ユーザー名 SASL 認証に使用されるユーザー名。
SASL パスワード SASL 認証に使用されるパスワード。
SSL の使用 (Use SSL) ご使用の Kafka 構成が SSL (TLS) 暗号化をサポートしているか、または必要としている場合は、このオプションを選択して SSL (TLS) 暗号化を有効にします。
クライアント認証の使用 クライアント認証構成オプションを表示します。

このオプションを有効にできるのは、 「SSL の使用」 パラメーターを有効にし、認証およびデータ転送に SSL (TLS) を使用する場合のみです。

TLS プロトコル このプロトコルで許可されているTLSのバージョン。 クライアントは、サーバーに選択されたバージョンと同じバージョンを使用してリクエストを送信しなければならない。 TLSv1.3 は QRadar バージョン 7.5.0 UP5 以降でサポートされています。
鍵ストア/トラストストア・タイプ (Key Store/Trust Store Type)
鍵ストアおよびトラストストア・タイプのアーカイブ・ファイル・フォーマット。 使用可能なアーカイブ・ファイル・フォーマットは次のとおりです。
  • JKS
  • PKCS12
トラストストアのファイル名 (Trust Store Filename) トラストストア・ファイルの名前。 トラストストアは、/opt/qradar/conf/trusted_certificates/kafka/ に格納されている必要があります。

ファイルには、ユーザー名とパスワードが含まれています。

鍵ストア・ファイル名 鍵ストア・ファイルの名前。 鍵ストアは、/opt/qradar/conf/trusted_certificates/kafka/ に格納されている必要があります。

ファイルには、ユーザー名とパスワードが含まれています。

ゲートウェイ・ログ・ソースとして使用 (Use as a Gateway Log Source) このオプションにより、収集されたイベントが QRadar トラフィック分析エンジンを通過し、適切なログ・ソースを自動的に検出できるようになります。
ログ・ソース ID パターン (Log Source Identifier Pattern)

「ゲートウェイ・ログ・ソースとして使用 (Use As A Gateway Log Source)」 チェック・ボックスが選択されている場合、処理中のイベントのカスタム・ログ・ソース ID を定義します。

カスタム・ログ・ソース ID を定義するには、キーと値のペアを使用します。 このキーは ID フォーマット・ストリングであり、生成されたソース値またはオリジン値です。 この値は、現在のペイロードを評価するために使用される、関連付けられた正規表現パターンです。 この値は、キーをさらにカスタマイズするために使用できるキャプチャー・グループもサポートします。

各パターンを新しい行に入力することで、複数のキーと値のペアが定義されます。 複数のパターンは、リストされている順序で評価されます。 一致が見つかると、カスタム・ログ・ソース ID が表示されます。

次の例では複数のキーと値のペアの機能を示します。
パターン
VPC=\sREJECT\sFAILURE
$1=\s(REJECT)\sOK
VPC-$1-$2=\s(ACCEPT)\s(OK)
イベント
{LogStreamName: LogStreamTest,Timestamp: 0,Message: ACCEPT OK,IngestionTime: 0,EventId: 0}
結果としてのカスタム・ログ・ソース ID
VPC-ACCEPT-OK
詳細オプションを表示 Kafka 構成のオプションの拡張オプションを表示します。 拡張オプション値は、表示されているかどうかにかかわらず有効です。
ペイロード抽出の使用

ペイロードを抽出してイベント・パイプラインに送信するには、このパラメーターを有効にします。 このパラメーターは、指定されたペイロードが Kafka ログ・レコード内のどこかにある場合に、そのペイロードを識別します。

各パターンを新しい行に入力することにより、複数の正規表現を定義できます。 複数のペイロード抽出パターンが使用されている場合、一致が検出され、抽出されたペイロードが返されるまで、それらのパターンが順番に評価されます。

このペイロード抽出は、文字置換の前に行われます。

ペイロード抽出の正規表現 Kafka ログ・レコード内の指定されたペイロードを識別して、 QRadarに送信できるようにする正規表現。 この式にはキャプチャー・グループを含める必要があり、最初のキャプチャー・グループを新規ペイロードとして使用します。
予測解析を使用

このパラメーターを有効にすると、アルゴリズムは、すべてのイベントに対して正規表現を実行することなく、ログ・ソース ID パターンを抽出し、イベントからペイロードを抽出します。これにより、解析速度が向上します。

まれに、アルゴリズムが誤った予測を行うことがあります。 予測解析は、高いイベント率を受け取ることが予想され、より高速な解析を必要とするログ・ソース・タイプに対してのみ有効にします。

文字シーケンスの置換 (Character Sequence Replacement) イベント・ペイロード内の特定のリテラル文字シーケンスを実際の文字で置き換えます。 以下のオプションを 1 つ以上選択できます。
  • 復帰改行文字 (CR LF) (&#xa5;r&#xa5;n)
  • 改行文字 (&#xa5;n)
  • 復帰文字 (&#xa5;r)
  • タブ文字 (&#xa5;t)
  • スペース文字 (&#xa5;s)
  • JSON データのアンエスケープ
    ヒント: ペイロード抽出後にペイロード全体を JSON アンエスケープする場合は、このオプションを選択します。 JSON メッセージをアンエスケープすると、構文解析を妨げる文字はメッセージから削除されます。

    JSON オブジェクトに組み込まれている JSON メッセージを抽出する場合は、このオプションを有効にします。

Kafka コンシューマー・プロパティーのオーバーライド

Kafka コンシューマーに特定の構成プロパティーを提供するために使用できる key=value ペアのリスト。 リストでは、1 行に 1 つのペアを使用します。

例えば、 key=value ペア session.timeout.ms=10000 は、セッション・タイムアウトをミリ秒単位で構成します。

利用可能な key=value ペアのリストについては、 Kafka コンシューマー・コンフィギュレーション・ドキュメント ( https://ibm.biz/kafkaconsumerconfigs )を参照のこと。

このフィールドに入力されたパラメーターは、ログ・ソースの構成フェーズ中に設定された以前のパラメーターをオーバーライドします。 これらのパラメーターには、以下の例が含まれますが、これらに限定されるものではありません。
  • fetch.max.bytes
  • group.id
  • ssl.enabled.protocols
このフィールドには、シークレット値を使用してパスワード・タイプ・プロパティーを入力することはできません。 これらのプロパティーには、以下の例が含まれますが、これらに限定されるものではありません。
  • ssl.key.password
  • ssl.key.password
  • ssl.keystore.password
  • ssl.truststore.password
  • sasl.jaas.config
  • ssl.truststore.certificates
  • ssl.keystore.certificate.chain
  • ssl.keystore.key

「秘密鍵パスワード」「トラストストア・パスワード」「鍵ストア・パスワード」「秘密鍵パスワード」、または 「SASL パスワード」 の各フィールドを使用して、パスワード・タイプの Kafka コンシューマー・プロパティーを入力します。

EPS スロットル

QRadar が取り込む 1 秒当たりのイベントの最大数。

データ・ソースが EPS スロットルを超える場合、データ収集は遅延されます。 データは引き続き収集され、データ・ソースが EPS スロットルを超えて停止すると取り込まれます。