IBM Support

InfoSphere Information Server: kafka/data/1/__consumer_offsets-0 に多数のログファイル (AIX, Linux版)

Question & Answer


Question

InfoSphere Information Server 11.7.1 の AIX 版または Linux 版をインストールしたところ、kafka/data/1/__consumer_offset_0 のディレクトリに多数の .log や .index が出力されています。この数を減らすことはできませんか？
※ Windows 版での対応手順は Technote 886275 を参照してください。

Cause

デフォルトの設定では、生成後 168時間経過したログファイルが削除されるようになっています。この経過時間では多数のログファイルが生成される可能性があるので、経過時間を短くします。

Answer

(1) root でログインして、InfoSphere Information Server のインストールディレクトリに移動します。(例 /opt/IBM/InformationServer)
# cd /opt/IBM/InformationServer
(2) shared-open-source/kafka/conf に移動して、server1.properties のバックアップを取ります。
# cd shared-open-source/kafka/conf
# cp server1.properties server1.properties.orig
(3) server1.properties をエディターで開きます。
(4) 下記の行を変更して保存します。(例、経過時間を 168時間から 1 時間に変更)
なお、最初から log.cleaner.enable=false の場合は、この行の編集は不要です。
log.retention.hours=168
→ log.retention.hours=1
log.cleaner.enable=true
→ log.cleaner.enable=false
(5) shared-open-source/kafka/install/bin に移動して kafka-topics.sh を実行します。実行前にインストールディレクトリにある jdk のパスを環境変数 JAVA_HOME に設定し、実行後の警告は無視してかまいません。実行前に Technote 7103248 を参照して、Kafka のバージョンを確認します。
ディレクトリの移動と環境変数の設定
# cd ../../..
# cd shared-open-source/kafka/install/bin
# JAVA_HOME=/opt/IBM/InformationServer/jdk ; export JAVA_HOME
「cleanup.policy」の変更
Kafka 2.x 以前の場合
# ./kafka-topics.sh --zookeeper localhost:52181 --topic __consumer_offsets --alter --config cleanup.policy=delete
Kafka 3.x 以後の場合
# ./kafka-configs.sh --bootstrap-server localhost:59092 --alter --entity-type topics --entity-name __consumer_offsets --add-config cleanup.policy=delete
「cleanup.policy」の確認
# ./kafka-configs.sh --bootstrap-server localhost:59092 --describe --entity-type topics --entity-name __consumer_offsets
「cleanup.policy=delete」という文字列が出力されていれば設定が反映されています。
(6) shared-open-source/bin に移動して Shared Open Source サービスを再起動します。
Linux 版
# cd ../../../..
# cd shared-open-source/bin
# ./stop-linux-services.sh
# ./start-linux-services.sh
AIX 版
# cd ../../../..
# cd shared-open-source/bin
# ./stop-aix-services.sh
# ./start-aix-services.sh
(7) log.retention.hours で設定した経過時間後に、shared-open-source/kafka/data/1/__consumer_offsets-0 に移動して、ログファイルの数が減っていることを確認します。
注記1:
update-config.sh を実行すると server1.properties が初期化されてしまいますが、cleanup.policy の設定は保持されたままなので、対策は不要です。再設定の必要が生じた場合は、再度、手順(1)から行ってください。
更新履歴:
2022-08-12: 初版
2022-10-25: JAVA_HOME の設定を追加
2023-12-28: kafka のバージョンチェックを追加
2024-08-07: update-config の記述を追加

[{"Type":"MASTER","Line of Business":{"code":"LOB10","label":"Data and AI"},"Business Unit":{"code":"BU048","label":"IBM Software"},"Product":{"code":"SSZJPZ","label":"IBM InfoSphere Information Server"},"ARM Category":[{"code":"a8m0z000000cwclAAA","label":"Information Server Administration-\u003Eshared open source SOS kafka solr zookeeper"}],"ARM Case Number":"","Platform":[{"code":"PF002","label":"AIX"},{"code":"PF016","label":"Linux"}],"Version":"11.7.1"}]

Document Information

Modified date:
06 August 2024

UID

ibm16612223

Page Feedback