hadoopクラスタで設定された時間以外に、長時間実行されているアプリケーションの委任トークンを更新する方法

Question

Hadoop環境で動作するApache Apexアプリケーションがあります。

私はアプリケーションに問題はありませんが、7日後には問題がありません。そして、私はそれがどのアプリケーションのクラスターレベルの設定のためであることに気付きました。

何らかの手段がありますが、何らかの間隔で委任トークンを定期的に更新して、ジョブが連続して実行されるようにします。

私はhdfs委任トークンを更新する方法についてオンライン上のリソースを見つけることができました!!誰かがあなたの知識を共有してもらえますか？

Answer 1

問題はApex documentationに記載されています。 また、2つのソリューションを詳細に提供します。 Hadoopシステムの非侵入型は、 'Auto-Refresh Approach'を選択することです。 は、基本的には、HDFSにあなたのkeytabファイルをコピーしてDT-site.xmlのに

<property> 
    <name>dt.authentication.store.keytab</name> 
    <value>hdfs-path-to-keytab-file</value> 
</property> 

を設定する必要があります。

HTH