clouderaゴミチェックポイント間隔の設定

Question

Clouderaではfs.trash.intervalを設定できます。

しかし、私はfs.trash.checkpoint.intervalを指定することはできません。

hdfsはいつチェックポイントを作成しますか？

同様の質問が応答なしでここに存在している： When does Hadoop Framework creates a checkpoint (expunge) to its "current" directory in trash?

Answer 1

Apache Hadoopドキュメントは様々な* -default.xmlファイルに左側のナビゲーション内のリンクを含んでいます。これらのファイルには、すべての構成プロパティのデフォルト設定が含まれています。

* -default.xmlのリンクをクリックすると、ウェブサイトにはそれらがきれいに印刷された表が表示されます。ここにゴミ箱のプロパティについて議論しているcore-site.xmlの生のXMLバージョンがあります。この説明に基づいて

<property> 
    <name>fs.trash.interval</name> 
    <value>0</value> 
    <description>Number of minutes after which the checkpoint 
    gets deleted. If zero, the trash feature is disabled. 
    This option may be configured both on the server and the 
    client. If trash is disabled server side then the client 
    side configuration is checked. If trash is enabled on the 
    server side then the value configured on the server is 
    used and the client configuration value is ignored. 
    </description> 
</property> 

<property> 
    <name>fs.trash.checkpoint.interval</name> 
    <value>0</value> 
    <description>Number of minutes between trash checkpoints. 
    Should be smaller or equal to fs.trash.interval. If zero, 
    the value is set to the value of fs.trash.interval. 
    Every time the checkpointer runs it creates a new checkpoint 
    out of current and removes checkpoints created more than 
    fs.trash.interval minutes ago. 
    </description> 
</property> 

あなたがfs.trash.checkpoint.intervalを変更していない場合、それはfs.trash.intervalと同じ値を使用し、それはそれはゴミのチェックポイントを作成する方法を頻繁にあります。

fs.trash.checkpoint.interval構成プロパティは、Apache Hadoop 2.xリリースラインで導入されました。以前のリリースではこの設定プロパティはサポートされていなかったので、その動作はfs.trash.checkpoint.intervalがfs.trash.intervalに等しいことと同等であると考えることができます。