ローカルSpark 2.xセッションを実行するにはどうすればいいですか？

Question

テスト目的のために、私はSpark 2.xをローカルモードで動作させたいと思っています。これどうやってするの？これはできますか？現在、私はmainで書く：

val spark = SparkSession 
    .builder 
    .appName("RandomForestClassifierExample") 
    .getOrCreate() 

とのIntelliJでメインを実行しますが、私はエラーに

org.apache.spark.SparkException: A master URL must be set in your configuration 

を取得し、私は私が実行しているいくつかのローカルインスタンスを持っているか、ローカルモードか何かを設定する必要があると思いますそうですね。私は何をすべきですか？

Answer 1

あなたはgetOrCreateを呼び出す前に.master(..)を構成する必要があります。

val spark = SparkSession.builder 
    .master("local") 
    .appName("RandomForestClassifierExample") 
    .getOrCreate() 

「地元では」スパークのコンポーネント（マスター、執行）のすべてはかなり、テストのために非常に便利（このコードを実行して、単一のJVM内でローカルに実行することを意味し実世界のシナリオとは無関係です）。その他の「マスター」オプションhereの詳細については、こちらをご覧ください。