2017-07-28 7 views
1

OpenStackにDC/OS VERSION 1.9.2をインストールしました。 DC/OSにapache sparkをインストールしようとしています。DCOSにapache sparkをインストールできない

dcos package install spark 
Installing Marathon app for package [spark] version [1.1.0-2.1.1] 
Installing CLI subcommand for package [spark] version [1.1.0-2.1.1] 
New command available: dcos spark 
DC/OS Spark is being installed! 

しかし、DC/OSダッシュボードには、Sparkが展開中で、タスクが実行されていないことが示されています。 エラーはこのメッセージを表示します。

I0728 16:43:36.348244 14038 exec.cpp:162] Version: 1.2.2 
I0728 16:43:36.656839 14046 exec.cpp:237] Executor registered on agent abf187f4-ad7d-4ead-9437-5cdba4f77bdc-S1 
+ export DISPATCHER_PORT=24238 
+ DISPATCHER_PORT=24238 
+ export DISPATCHER_UI_PORT=24239 
+ DISPATCHER_UI_PORT=24239 
+ export SPARK_PROXY_PORT=24240 
+ SPARK_PROXY_PORT=24240 
+ SCHEME=http 
+ OTHER_SCHEME=https 
+ [[ '' == true ]] 
+ export DISPATCHER_UI_WEB_PROXY_BASE=/service/spark 
+ DISPATCHER_UI_WEB_PROXY_BASE=/service/spark 
+ grep -v '#https#' /etc/nginx/conf.d/spark.conf.template 
+ sed s,#http#,, 
+ sed -i 's,<PORT>,24240,' /etc/nginx/conf.d/spark.conf 
+ sed -i 's,<DISPATCHER_URL>,http://172.16.129.180:24238,' /etc/nginx/conf.d/spark.conf 
+ sed -i 's,<DISPATCHER_UI_URL>,http://172.16.129.180:24239,' /etc/nginx/conf.d/spark.conf 
+ sed -i 's,<PROTOCOL>,,' /etc/nginx/conf.d/spark.conf 
+ [[ '' == true ]] 
+ [[ -f hdfs-site.xml ]] 
+ [[ -n '' ]] 
+ exec runsvdir -P /etc/service 
+ + mkdirmkdir -p -p /mnt/mesos/sandbox/nginx /mnt/mesos/sandbox/spark 

+ exec 
+ exec svlogd /mnt/mesos/sandbox/nginx 
+ exec svlogd /mnt/mesos/sandbox/spark 
nginx: [emerg] could not build the types_hash, you should increase either types_hash_max_size: 1024 or types_hash_bucket_size: 32 
nginx: [emerg] could not build the types_hash, you should increase either types_hash_max_size: 1024 or types_hash_bucket_size: 32 
nginx: [emerg] could not build the types_hash, you should increase either types_hash_max_size: 1024 or types_hash_bucket_size: 32 
nginx: [emerg] could not build the types_hash, you should increase either types_hash_max_size: 1024 or types_hash_bucket_size: 32 
nginx: [emerg] could not build the types_hash, you should increase either types_hash_max_size: 1024 or types_hash_bucket_size: 32 

DCOSでタスクを実行する方法。 ありがとうございます。

+0

私はスパークドッカーにログオンしました。私はtype_hash_buck_sizeを64に変更しようとしました。しかし、このプロセスはクールではありません。 –

+0

DCOSログを確認しました。私は展開がocmplatedだと思うが、DockerのNGINXは動かない。 DCOSはスパークの状態をチェックしましたが、NGINXは反応しません。 DCOSは、スパークが不快であり、スパークを起こさないことを認識します。スパークは再び展開しようとします。今、このプロセスは無限です。 –

答えて

0

元のスパークインストールを適切にアンインストールしたかどうかを確認してください。あなたは古い動物園の火花のエントリ(下/出展者)を削除する必要があります。

また、新しい展開用のリソースをブロックしているゾーンのフレームワークがないことを確認します。それらを殺す:

http://MESOSMASTER_URL:5050/master/teardown -d 'frameworkId='<FRAMEWORKID>'' 
+0

私はsparkをアンインストールしようとし、古い動物園のsparkエントリを削除しました。私はゾンビのフレームワークをチェックしたが、見つからなかった。 –

関連する問題