Zeppelinは複数のJavaプロセスを展開します

Question

現在、最新のzeppelinソースはHDP 2.5のマスターサーバーで動作していますが、私もワーカーサーバーを持っています。

マスターサーバーでは、最後の12日間にいくつかのJAVAプロセスが生成されたことが検出されました。これらのプロセスは完了せず、メモリを消費していました。ある時点でメモリがいっぱいになり、糸の糸の下でZeppelinを実行することができませんでした。私はYarnにキューシステムを持っています.1つはJobServer用で、もう1つはZeppelin用です。 Zeppelinは現在rootで動作していますが、それぞれのサービスアカウントに変更されます。システムはCENTOS 7.2

ログには次のプロセスが表示されています。私はそれらを区別し始めました。 プロセス1〜3はゼップリンであると思われますが、プロセス4とプロセス5は分かりません。 ここに質問があります：設定に問題はありますか？ ZeppelinデーモンはなぜこのJAVAプロセスを殺していないのですか？この問題を回避するための修正点は何ですか？

<p><strong>PROCESS #1</strong> 
 
/usr/java/default/bin/java 
 
-Dhdp.version=2.4.2.0-258 
 
-cp /usr/hdp/2.4.2.0-258/zeppelin/local-repo/2BXMTZ239/* 
 
:/usr/hdp/2.4.2.0-258/zeppelin/interpreter/spark/* 
 
:/usr/hdp/2.4.2.0-258/zeppelin/zeppelin-interpreter/target/lib/* 
 
:/usr/hdp/2.4.2.0-258/zeppelin/zeppelin-interpreter/target/classes/ 
 
:/usr/hdp/2.4.2.0-258/zeppelin/zeppelin-interpreter/target/test-classes/ 
 
:/usr/hdp/2.4.2.0-258/zeppelin/zeppelin-zengine/target/test-classes/ 
 
:/usr/hdp/2.4.2.0-258/zeppelin/interpreter/spark/zeppelin-spark_2.10-0.7.0-SNAPSHOT.jar 
 
:/usr/hdp/current/spark-thriftserver/conf/:/usr/hdp/2.4.2.0-258/spark/lib/spark-assembly-1.6.1.2.4.2.0-258-hadoop2.7.1.2.4.2.0-258.jar 
 
:/usr/hdp/2.4.2.0-258/spark/lib/datanucleus-api-jdo-3.2.6.jar 
 
:/usr/hdp/2.4.2.0-258/spark/lib/datanucleus-core-3.2.10.jar 
 
:/usr/hdp/2.4.2.0-258/spark/lib/datanucleus-rdbms-3.2.9.jar 
 
:/etc/hadoop/conf/ 
 
-Xms1g 
 
-Xmx1g 
 
-Dfile.encoding=UTF-8 
 
-Dlog4j.configuration=file:///usr/hdp/2.4.2.0-258/zeppelin/conf/log4j.properties 
 
-Dzeppelin.log.file=/var/log/zeppelin/zeppelin-interpreter-spark-root-cool-server-name1.log org.apache.spark.deploy.SparkSubmit --conf spark.driver.extraClassPath=::/usr/hdp/2.4.2.0-258/zeppelin/local-repo/2BXMTZ239/*:/usr/hdp/2.4.2.0-258/zeppelin/interpreter/spark/*:/usr/hdp/2.4.2.0-258/zeppelin/zeppelin-interpreter/target/lib/* 
 
: 
 
:/usr/hdp/2.4.2.0-258/zeppelin/zeppelin-interpreter/target/classes 
 
:/usr/hdp/2.4.2.0-258/zeppelin/zeppelin-interpreter/target/test-classes 
 
:/usr/hdp/2.4.2.0-258/zeppelin/zeppelin-zengine/target/test-classes 
 
:/usr/hdp/2.4.2.0-258/zeppelin/interpreter/spark/zeppelin-spark_2.10-0.7.0-SNAPSHOT.jar 
 
--conf spark.driver.extraJavaOptions= 
 
-Dfile.encoding=UTF-8 
 
-Dlog4j.configuration=file:///usr/hdp/2.4.2.0-258/zeppelin/conf/log4j.properties 
 
-Dzeppelin.log.file=/var/log/zeppelin/zeppelin-interpreter-spark-root-cool-server-name1.log 
 
--class org.apache.zeppelin.interpreter.remote.RemoteInterpreterServer 
 
/usr/hdp/2.4.2.0-258/zeppelin/interpreter/spark/zeppelin-spark_2.10-0.7.0-SNAPSHOT.jar 44001 
 

 
</p><p><strong>PROCESS #2 </strong> 
 
/usr/java/default/bin/java -Dhdp.version=2.4.2.0-258 
 
-cp /usr/hdp/2.4.2.0-258/zeppelin/local-repo/2BXMTZ239/* 
 
:/usr/hdp/2.4.2.0-258/zeppelin/interpreter/spark/* 
 
:/usr/hdp/2.4.2.0-258/zeppelin/zeppelin-interpreter/target/lib/* 
 
:/usr/hdp/2.4.2.0-258/zeppelin/zeppelin-interpreter/target/classes/ 
 
:/usr/hdp/2.4.2.0-258/zeppelin/zeppelin-interpreter/target/test-classes/ 
 
:/usr/hdp/2.4.2.0-258/zeppelin/zeppelin-zengine/target/test-classes/ 
 
:/usr/hdp/2.4.2.0-258/zeppelin/interpreter/spark/zeppelin-spark_2.10-0.7.0-SNAPSHOT.jar 
 
:/usr/hdp/current/spark-thriftserver/conf/ 
 
:/usr/hdp/2.4.2.0-258/spark/lib/spark-assembly-1.6.1.2.4.2.0-258-hadoop2.7.1.2.4.2.0-258.jar 
 
:/usr/hdp/2.4.2.0-258/spark/lib/datanucleus-api-jdo-3.2.6.jar 
 
:/usr/hdp/2.4.2.0-258/spark/lib/datanucleus-core-3.2.10.jar 
 
:/usr/hdp/2.4.2.0-258/spark/lib/datanucleus-rdbms-3.2.9.jar 
 
:/etc/hadoop/conf/ 
 
-Xms1g 
 
-Xmx1g 
 
-Dfile.encoding=UTF-8 
 
-Dlog4j.configuration=file:///usr/hdp/2.4.2.0-258/zeppelin/conf/log4j.properties 
 
-Dzeppelin.log.file=/var/log/zeppelin/zeppelin-interpreter-spark-root-cool-server-name1.log 
 
org.apache.spark.deploy.SparkSubmit 
 
--conf spark.driver.extraClassPath= 
 
: 
 
:/usr/hdp/2.4.2.0-258/zeppelin/local-repo/2BXMTZ239/* 
 
:/usr/hdp/2.4.2.0-258/zeppelin/interpreter/spark/* 
 
:/usr/hdp/2.4.2.0-258/zeppelin/zeppelin-interpreter/target/lib/* 
 
: 
 
:/usr/hdp/2.4.2.0-258/zeppelin/zeppelin-interpreter/target/classes 
 
:/usr/hdp/2.4.2.0-258/zeppelin/zeppelin-interpreter/target/test-classes 
 
:/usr/hdp/2.4.2.0-258/zeppelin/zeppelin-zengine/target/test-classes 
 
:/usr/hdp/2.4.2.0-258/zeppelin/interpreter/spark/zeppelin-spark_2.10-0.7.0-SNAPSHOT.jar 
 
--conf spark.driver.extraJavaOptions= 
 
-Dfile.encoding=UTF-8 
 
-Dlog4j.configuration=file:///usr/hdp/2.4.2.0-258/zeppelin/conf/log4j.properties 
 
-Dzeppelin.log.file=/var/log/zeppelin/zeppelin-interpreter-spark-root-cool-server-name1.log 
 
--class org.apache.zeppelin.interpreter.remote.RemoteInterpreterServer 
 
/usr/hdp/2.4.2.0-258/zeppelin/interpreter/spark/zeppelin-spark_2.10-0.7.0-SNAPSHOT.jar 
 
40641 
 

 
</p><p><strong>PROCESS #3</strong> 
 
/usr/java/default/bin/java 
 
-Dhdp.version=2.4.2.0-258 
 
-cp /usr/hdp/2.4.2.0-258/zeppelin/local-repo/2BXMTZ239/* 
 
:/usr/hdp/2.4.2.0-258/zeppelin/interpreter/spark/* 
 
:/usr/hdp/2.4.2.0-258/zeppelin/zeppelin-interpreter/target/lib/* 
 
:/usr/hdp/2.4.2.0-258/zeppelin/zeppelin-interpreter/target/classes/ 
 
:/usr/hdp/2.4.2.0-258/zeppelin/zeppelin-interpreter/target/test-classes/ 
 
:/usr/hdp/2.4.2.0-258/zeppelin/zeppelin-zengine/target/test-classes 
 
:/usr/hdp/2.4.2.0-258/zeppelin/interpreter/spark/zeppelin-spark_2.10-0.7.0-SNAPSHOT.jar 
 
:/usr/hdp/current/spark-thriftserver/conf/ 
 
:/usr/hdp/2.4.2.0-258/spark/lib/spark-assembly-1.6.1.2.4.2.0-258-hadoop2.7.1.2.4.2.0-258.jar 
 
:/usr/hdp/2.4.2.0-258/spark/lib/datanucleus-api-jdo-3.2.6.jar 
 
:/usr/hdp/2.4.2.0-258/spark/lib/datanucleus-core-3.2.10.jar 
 
:/usr/hdp/2.4.2.0-258/spark/lib/datanucleus-rdbms-3.2.9.jar 
 
:/etc/hadoop/conf/ 
 
-Xms1g 
 
-Xmx1g 
 
-Dfile.encoding=UTF-8 
 
-Dlog4j.configuration=file:///usr/hdp/2.4.2.0-258/zeppelin/conf/log4j.properties 
 
-Dzeppelin.log.file=/var/log/zeppelin/zeppelin-interpreter-spark-root-cool-server-name1.log 
 
org.apache.spark.deploy.SparkSubmit 
 
--conf spark.driver.extraClassPath=::/usr/hdp/2.4.2.0-258/zeppelin/local-repo/2BXMTZ239/* 
 
:/usr/hdp/2.4.2.0-258/zeppelin/interpreter/spark/* 
 
:/usr/hdp/2.4.2.0-258/zeppelin/zeppelin-interpreter/target/lib/* 
 
: 
 
:/usr/hdp/2.4.2.0-258/zeppelin/zeppelin-interpreter/target/classes 
 
:/usr/hdp/2.4.2.0-258/zeppelin/zeppelin-interpreter/target/test-classes 
 
:/usr/hdp/2.4.2.0-258/zeppelin/zeppelin-zengine/target/test-classes 
 
:/usr/hdp/2.4.2.0-258/zeppelin/interpreter/spark/zeppelin-spark_2.10-0.7.0-SNAPSHOT.jar 
 
--conf spark.driver.extraJavaOptions= 
 
-Dfile.encoding=UTF-8 -Dlog4j.configuration=file:///usr/hdp/2.4.2.0-258/zeppelin/conf/log4j.properties 
 
-Dzeppelin.log.file=/var/log/zeppelin/zeppelin-interpreter-spark-root-cool-server-name1.log 
 
--class org.apache.zeppelin.interpreter.remote.RemoteInterpreterServer /usr/hdp/2.4.2.0-258/zeppelin/interpreter/spark/zeppelin-spark_2.10-0.7.0-SNAPSHOT.jar 60887 
 

 
</p><p><strong>PROCESS #4</strong> 
 
/usr/java/default/bin/java 
 
-Dfile.encoding=UTF-8 
 
-Dlog4j.configuration=file:///usr/hdp/2.4.2.0-258/zeppelin/conf/log4j.properties 
 
-Dzeppelin.log.file=/var/log/zeppelin/zeppelin-interpreter-cassandra-root-cool-server-name1.log 
 
-Xms1024m 
 
-Xmx1024m 
 
-XX:MaxPermSize=512m 
 
-cp ::/usr/hdp/2.4.2.0-258/zeppelin/interpreter/cassandra/* 
 
:/usr/hdp/2.4.2.0-258/zeppelin/zeppelin-interpreter/target/lib/* 
 
: 
 
:/usr/hdp/2.4.2.0-258/zeppelin/zeppelin-interpreter/target/classes 
 
:/usr/hdp/2.4.2.0-258/zeppelin/zeppelin-interpreter/target/test-classes 
 
:/usr/hdp/2.4.2.0-258/zeppelin/zeppelin-zengine/target/test-classes org.apache.zeppelin.interpreter.remote.RemoteInterpreterServer 
 

 
</p><p><strong>PROCESS #5</strong> 
 
/usr/java/default/bin/java 
 
-Dfile.encoding=UTF-8 
 
-Dlog4j.configuration=file:///usr/hdp/2.4.2.0-258/zeppelin/conf/log4j.properties 
 
-Dzeppelin.log.file=/var/log/zeppelin/zeppelin-interpreter-cassandra-root-cool-server-name1.log 
 
-Xms1024m -Xmx1024m -XX:MaxPermSize=512m 
 
-cp ::/usr/hdp/2.4.2.0-258/zeppelin/interpreter/cassandra/* 
 
:/usr/hdp/2.4.2.0-258/zeppelin/zeppelin-interpreter/target/lib/* 
 
::/usr/hdp/2.4.2.0-258/zeppelin/zeppelin-interpreter/target/classes 
 
:/usr/hdp/2.4.2.0-258/zeppelin/zeppelin-interpreter/target/test-classes 
 
:/usr/hdp/2.4.2.0-258/zeppelin/zeppelin-zengine/target/test-classes org.apache.zeppelin.interpreter.remote.RemoteInterpreterServer </p>

Answer 1

アパッチツェッペリンは、各インタプリタはZeppelinServerしかしアパッチ倹約プロトコルに通信する、少なくとも1つの別個のJVMプロセスを実行しているmulti-process architectureを使用します。あなたのケースで

4と5カサンドラインタプリタプロセスのように見えます。

InterpretersメニューのZeppelin UIからいつでも\ restartを再開できます。これとその他のインタプリタ関連の機能の詳細については、Zeppelin official docs