1
大きなデータを読み込んでメモリにロードし、メモリ内のデータフレームを複数回クエリするための準備ができているスパークアプリケーションがあります。クエリが完了すると、新しい入力セットを続行するか、アプリケーションを終了するかをコンソールで確認するメッセージが表示されます。spark-shell/spark-submitから対話型スパークアプリケーションを実行する方法
私はこれをIDE上でうまく実行できます。ただし、spark-shellからこの対話型スパークアプリを実行できますか？
私はspark job serverを使用して、メモリから読み込まれたデータフレームに対して複数の対話的なクエリを実行しましたが、シェルからは実行しませんでした。すべてのポインタ？
ありがとうございます！
更新1： プロジェクトジャールがどのように表示され、他のすべての依存関係とともにパッケージ化されているかを示します。
jar tf target/myhome-0.0.1-SNAPSHOT.jar
META-INF/MANIFEST.MF
META-INF/
my_home/
my_home/myhome/
my_home/myhome/App$$anonfun$foo$1.class
my_home/myhome/App$.class
my_home/myhome/App.class
my_home/myhome/Constants$.class
my_home/myhome/Constants.class
my_home/myhome/RecommendMatch$$anonfun$1.class
my_home/myhome/RecommendMatch$$anonfun$2.class
my_home/myhome/RecommendMatch$$anonfun$3.class
my_home/myhome/RecommendMatch$.class
my_home/myhome/RecommendMatch.class
は、以下のオプション
spark-shell -i my_home/myhome/RecommendMatch.class --master local --jars /Users/anon/Documents/Works/sparkworkspace/myhome/target/myhome-0.0.1-SNAPSHOT.jar
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).
17/05/16 10:10:01 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
17/05/16 10:10:06 WARN ObjectStore: Failed to get database global_temp, returning NoSuchObjectException
Spark context Web UI available at http://192.168.0.101:4040
Spark context available as 'sc' (master = local, app id = local-1494909601904).
Spark session available as 'spark'.
That file does not exist
Welcome to
...
UPDATE 2 ：ジャーをローカルホストに示す環境ごとにロードされます。次に、プロジェクトjarをbinの場所にコピーしてみました。
pwd
/usr/local/Cellar/apache-spark/2.1.0/bin
spark-submit --master local —-class my_home.myhome.RecommendMatch.class --jars myhome-0.0.1-SNAPSHOT.jar
Error: Cannot load main class from JAR file:/usr/local/Cellar/apache-spark/2.1.0/bin/—-class
私はこれを見て、それを試みました。上記の私の更新を見てください。 – user1384205
このスタイルは、シェルで使用するのと同じ構文を使用して、生のスカラファイル用です。あなたは基本的にシェルで直接入力するのではなく、ファイルを介してコマンドを渡すだけです – Garren
ああありがとう。このspark-shellのようなspark-shellを呼び出すことができますか？--master local --class my_home.myhome.RecommendMatch.class --jars /Users/anon/Documents/Works/sparkworkspace/myhome/target/myhome-0.0.1- SNAPSHOT.jar？ファイルが見つからないというエラーはありませんが、私はこのクラスのメイン関数を呼び出す方法にまだ苦労しています – user1384205