飼い葉桶の自動パージがうまくいきません

Question

開発段階で飼育係を使用して約6ヶ月後、正常に動作しますが、データディレクトリのサイズは6 GIGになりました！それはまだ増加しています。システム仕様の一部を以下に示します。

飼育係のバージョン：クライアントの3.4.6
数：znodesの 数：また を... 90ログが
あります。 * dataDir/version-2のファイル
dataDir/version-2のスナップショット。*ファイルがありません！私はZooKeeper Administrator's GuideページのAdvanced Configurationセクション内の自動パージオプションを発見したこの問題は、Googleを検索

。

tickTime = 2000
DATADIR = /ホーム/ faghani /ソフトウェア/飼育係/ zkdata
CLIENTPORT = 2181
authProvider.1 = ORG：それから私は、次のconifguration（zoo.cfg）を使用して飼育係をロールアウト.apache.zookeeper.server.auth.SASLAuthenticationProvider requireClientAuthScheme = SASL
autopurge.snapRetainCount = 3
autopurge.purgeInterval = 1

purgeIntervalが何回も期限切れになった場合でも変更は行われませんでした。つまり、まだ飼育係データディレクトリのサイズは6Gであり、ファイルは削除されませんでした。ここには${dataDir}/version-2です。ここに奇妙な点があります、Nautilusは、データディレクトリのサイズは6Gですが、ls -lahtは3.4Gだと言っています！

faghani@node255:~/software/zookeeper/zkdata/version-2$ ls -laht 
total 3.4G 
-rw-rw-r-- 1 faghani faghani 65M Dec 20 10:09 log.1061d 
drwx------ 2 faghani faghani 4.0K Dec 20 10:09 . 
-rw-rw-r-- 1 faghani faghani 65M Dec 19 17:28 log.105f2 
-rw-rw-r-- 1 faghani faghani 65M Dec 15 18:37 log.105c1 
-rw-rw-r-- 1 faghani faghani 65M Dec 14 16:17 log.105bc 
-rw-rw-r-- 1 faghani faghani 65M Dec 9 18:08 log.10576 
drwx------ 3 faghani faghani 4.0K Dec 9 16:57 ..  
-rw-rw-r-- 1 faghani faghani 65M Dec 9 16:56 log.10565 
-rw-rw-r-- 1 faghani faghani 65M Dec 8 18:31 log.1048c 
and many more until ... 
-rw------- 1 faghani faghani 65M Sep 2 16:41 log.1d03 

はまた、次のコマンドは、（Maintenance節で提案されているように）データディレクトリ内のファイルには影響を行われていません。ところで

java -cp zookeeper.jar:lib/slf4j-api-1.7.5.jar:lib/slf4j-log4j12-1.7.5.jar:lib/log4j-1.2.16.jar:conf org.apache.zookeeper.server.PurgeTxnLog <dataDir> <snapDir> -n <count> 

、私はthis questionが見つかりましたが、残念ながら、そのページでそれのための解決策はありません。

質問：

1-スナップショット。*ファイルはどこですか？
2- SASL設定が自動パージを妨げる可能性がある場合？ （私はノーだと思う）
3-設定に何か間違っていますか？

編集：解決策は、snapCountプロパティの周りにあるようです。このプロパティのデフォルト値は100000です。これを非常に小さい数値に減らすだけです。 10、システムをテストします。

Answer 1

あなたの問題がSolrでZKを実行することと直接関係している場合、Solrのメールリストの次の電子メールチェーンを読むと便利です：Auto purge for ZK transaction logs in Solr。

Solrには、autopurge.snapRetainCount=3もも含まれていないSolrZKServerを実行しているZKが埋め込まれています。

Answer 2

あなたはソースフォルダ（./binサブフォルダ）内にあることzkCleanup.shスクリプトを使用することができます。あなたがそれを見つけることができない場合は、hereを見つけることができます。このスクリプトの使用方法：

zkCleanup.sh <snapshotDir> -n <count> 
for example: 
# ./zkCleanup.sh /tmp/zookeeper -n 6 

<snapshotDir>は、私の場合には、飼育係のスナップショットファイルの場所ですが、私のスナップショットファイルは、フォルダ内にある/tmp/zookeeper/version-2/

<count>保持ログ&スナップショットファイル番号、<count>の値であり、通常は3より大きくする必要があります。

詳細については、Ongoing Data Directory Cleanupを参照してください。

これは、毎日ログをクリーンアップするために、ZooKeeperサーバーマシン上でcronジョブとして実行できます。私の場合、私は毎週1時間をクリーンアップ：

0 7 * * 0 (cd /root/otter/zookeeper/zookeeper-3.4.10/bin && ./zkCleanup.sh /tmp/zookeeper -n 5) >> /tmp/zookeeper/cron.log 2>&1 

あなたはcrontab -eすることによって、これを追加しますがあなたの条件に応じて周波数を変更してくださいすることができます。