hadoop公平スケジューラはファイルエラーをオープンしていますか？私は仕事を割り当てるための公平スケジューラモードをテストしてい

Question

は、しかし、私はこのようなエラー にjava.io.IOExceptionを得る：「bashのを」プログラムを実行することはできません：にjava.io.IOException：エラー= 24、開いているファイルが多すぎます

Googleの後では、ほとんどの人が、システムで現在開いているファイルの数（UNIXのlsofコマンド）と、システムの制限に関係する番号の確認（bashコマンドulimit -nのチェック）をします。私の意見では、一度に開いているファイルの最大数を増やすことは短期的な解決策です。

これを避けるためにとにかくありますか？

Answer 1

お使いのシステムは、＃（最大オープン・ファイル）の上限に達しているという事実は、あなたがチェックする必要がある場合があります：

1. 他の操作は、システム上で実行されているどのように多くの？
2. 多くのファイルを頻繁に開いていますか？
3. hadoopジョブ自体が多くのファイルを頻繁に開いていますか？
4. システムで＃（最大オープンファイル）の電流制限が小さすぎますか？ （あなたは典型的な値をgoogleすることができます）。その小さすぎる場合は、それを増やすことを検討してください

私は＃（最大オープンファイル）の上限を増やすことがうまくいくと思います。長期的には、＃1、＃2、＃3が対処されていなければ、もう一度その問題に陥るかもしれません。