ミニキューブで作成されたローカルkubernetesでクラスターをスパークさせるためにspark-submit仕事をする方法

Question

私はblogを読んでいて、codesを実行しようとしました。

$kubectl get po 
NAME       READY  STATUS RESTARTS AGE 
spark-master-668325562-w369p 1/1  Running 0   23s 
spark-worker-1868749523-xt7hg 1/1  Running 0   23s 

ここで、sparkクラスタは、minikubeによって作成されたローカルkubernetesクラスタで正常に動作しています。私は次のコマンドでそれにスパークジョブを提出しようとしています：

spark-2.1.1-bin-hadoop2.7/bin$ ./spark-submit --master spark://<spark-master>:7077 /home/me/workspace/myproj/myproj.jar 

spark-master IPを知る方法？私はちょうどそれを行うために上記の手順を踏襲し、どのようにスパークマスターIPを知って/設定する方法に関する関連チュートリアルを見つけることができません。

誰でも説明できますか？おかげ

UPDATE

は、私は、次のIPSを試してみましたが、失敗しました。

$ minikube ip 
192.168.42.55 

$kubectl get svc 
NAME   CLUSTER-IP EXTERNAL-IP PORT(S)    AGE 
kubernetes  10.0.0.1  <none>  443/TCP    3h 
spark-master 10.0.0.175 <none>  8080/TCP,7077/TCP 42m 

エラー：サービスポートを：

Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties 
Exception in thread "main" java.lang.IllegalArgumentException: requirement failed: Can only call getServletHandlers on a running MetricsSystem 
    at scala.Predef$.require(Predef.scala:224) 
    at org.apache.spark.metrics.MetricsSystem.getServletHandlers(MetricsSystem.scala:91) 
    at org.apache.spark.SparkContext.<init>(SparkContext.scala:524) 
    at NetworkScanCounter$.main(network-scan-counter.scala:68) 
    at NetworkScanCounter.main(network-scan-counter.scala) 
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) 
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) 
    at java.lang.reflect.Method.invoke(Method.java:498) 
    at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:743) 
    at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:187) 
    at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:212) 
    at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:126) 
    at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala) 

Answer 1

kubectl get po -o wideは、ポッドのIPアドレスが表示されます、あなたがminikueipを使用してマスターに到達することができ、その後、Nodeportを使用して公開する必要があります。