2016-08-30 4 views
0

をクラッシュ:カフカ:消費者は、消費者が生産者から3995件のメッセージを受信した後、それは次のようなエラーがクラッシュしています...私は別のプロジェクトに実装していますいくつかのカフカコードを継承し、問題に出くわした

ERROR Error while accepting connection (kafka.network.Acceptor) 
java.io.IOException: Too many open files 

Information about data being sent: 
Very bursty around the time of crash 
Always crashes at 3995 

CentOS仮想マシンで実行していますが、他の小さなデータセットも簡単に実行できました。御時間ありがとうございます!

+0

実際にクラッシュしている何。生産者、ブローカーまたは消費者? –

+0

@NipunTalukdarプロデューサーがクラッシュしていて、プロデューサーがクラッシュして消費者がクラッシュしていると思います – Bob

答えて

2

「開いているファイルが多すぎます」と入力すると、 'lsof | wc -l 'を使って、いくつのファイルが開かれているかを知ることができます。

数のファイルを高めるためにguideに従っが開か:

最大ファイルの数は、私はこの問題を解決する方法はあります、達しましたか? OracleデータベースやApache Webサーバーなどの多くのアプリケーションでは、この範囲がかなり高い必要があります。だから、次のように(rootとしてログイン)カーネル変数に/ proc/sysのの/ fsの/ファイル最大に新しい値を設定することで、開いているファイルの最大数を増やすことができます。

sysctl -w fs.file-max=100000

関連する問題