私はIntelliJIdeaとによってsparkアプリケーションを開発しました。spark-assembly-1.6.1-hadoop2.6.0は私の依存関係の1つです。アプリケーションをjarファイルにデプロイして、で実行したいです。 jarファイルにspark-assembly-1.6.1-hadoop2.6.0を含めるか、他の依存関係を含めることは十分ですか？jarファイルにspark-assemblyを含める必要がありますか？
Learning Spark: Lightning-Fast Big Data Analyticsで述べたように、jarファイルに火花アセンブリ-1.6.1-hadoop2.6.0を含める必要はありません。あなたがアプリケーションをバンドルしている場合
、あなたは含めるべきではありません 送信された依存関係のリストに自身を表示します。 spark-submit は、 プログラムのパスにSparkが存在することを自動的に確認します。
他の依存関係だけを含めても問題ありません（また、maven/sbt/...を使用する場合は、提供されている依存関係をマークする必要があります）。 spark-submitを実行すると、出力ログにjarとspark-assembly jarが両方ともhdfsにアップロードされ、後で使用されることがわかります。
あなたの言語は？ –
@Jacek Laskowski、私の言語はScalaです。 –
なぜsbt（または他のビルド管理ツール）を使用しないのですか？ –