私はスパークアプリケーションを実行していると私は常にメモリ不足の例外のうちを取得スパークアプリケーションで

Question

を新しいネイティブスレッドを作成することができません。..

Exception in thread "main" java.lang.OutOfMemoryError: unable to create new native thread 

私は[5]ノードクラスタ内のローカルの下に私のプログラムを実行しますLinuxのそれは静止画は

Answer 1

があなたのマシンに設定ulimitといくつかの問題のように見える。これerror..can誰かが私のスパークアプリケーションでそれを修正する方法を私を指す私に与えます。 ulimit -aコマンドを実行すると、以下の結果が表示されます。

core file size   (blocks, -c) 0 
data seg size   (kbytes, -d) unlimited 
scheduling priority    (-e) 0 
file size    (blocks, -f) unlimited 
pending signals     (-i) 63604 
max locked memory  (kbytes, -l) 64 
max memory size   (kbytes, -m) unlimited 
open files      (-n) 10240 
pipe size   (512 bytes, -p) 8 
POSIX message queues  (bytes, -q) 819200 
real-time priority    (-r) 0 
stack size    (kbytes, -s) 8192 
cpu time    (seconds, -t) unlimited 
max user processes    (-u) 63604 
virtual memory   (kbytes, -v) unlimited 
file locks      (-x) unlimited 

open filesとmax user processes設定された値をチェックしてください。それは高いはずです。

あなたはコマンドの下に使用して設定することができます

ulimit -n 10240 
ulimit -u 63604 

あなたがてulimitの設定を完了したら。アプリケーションを起動して効果を確認することができます。