Spark-submitで同じjarを使用する

Question

jarファイルでspark-submitすることで、糸クラスターモードでジョブをデプロイします。私が '同じjarファイル'を使って提出するたびに展開された仕事は、それが提出されるたびにhadoopにアップロードされます。毎回同じ瓶をアップロードする必要はないと思います。一度アップロードして瓶で糸を雇う方法はありますか？

Answer 1

あなたはspd jarをhdfsに入れてから--master yarn-clusterモードを使うことができます。これにより、jarを毎回hdfsにアップロードするのに必要な時間を節約できます。

他の選択肢は次のような欠点を持っているすべてのノード上でスパーククラスパスにjarファイルを入れている：

1. あなたは30個の以上のノードがある場合、それは各ノードで、あなたのjarファイルをSCPには非常に面倒になります。
2. hadoopクラスタのアップグレードで、sparkの新規インストールがある場合は、再インストールする必要があります。