Hadoopクラスタ（Clouderaディストリビューション）では、Hive Jobが '/ tmp'の場所に160 TBのファイルを作成し、残りのHDFSスペースを消費し、停止を引き起こす可能性があります。その後、私たちはこの仕事を始めたユーザーに到達することができないので、特定の仕事をトラブルシューティングして殺します。HDFS/tmpファイルシステムが急速に満杯になり、停止が発生すると予想されています
私の質問は、誰かが巨大なファイルを作成した場合、またはHDFAクォータを使用しているユーザーを制限する必要がある場合に、 '/ tmp'の場所の警告を設定できるかどうかです。他の提案がある場合は、お知らせください。
あなたはセットとNはあなたが
を設定したいバイト数があるコマンドhdfs dfsadmin -setQuota <N> <directory>...<directory>
hdfs dfsadmin -clrQuota <directory>...<directory>
hdfs dfsadmin -setSpaceQuota <N> <directory>...<directory>
hdfs dfsadmin -clrSpaceQuota <directory>...<directory>
*の下のセットを使用して、ディレクトリのクォータを管理することができます
これがあなたのシナリオに役立つことを願っています。
また、処理側からYarnリソースプール内のCloudera Managerからリソースを管理することもできます。クラスタで実行されている各ユーザーまたはサービスに割り当てられる最大コアとメモリを制限できます。