Spell Scalaを使用したIntelliJ IDEAのバーチャルボックスでの接続方法

Question

ローカルWindowsマシンのIntelliJで作成されたSpark - scalaプログラムから、virtualBoxで動作するCloudera CDH 5.8に接続する必要があります。助けてください。

Answer 1

ほとんどの場合、HDFSとHiveのサポートが必要です。

1）は、設定.Createコア-site.xmlに、ハイブ-site.xmlの：

コアサイトのプロパティ

<property> 
     <!--<name>fs.defaultFS</name>--> 
     <name>fs.defaultFS</name> 
     <value>maprfs://cdhdemo:7222</value> 
    </property> 

ハイブサイトのプロパティ

あなたは、2つのオプションを持っています

<property> 
     <name>hive.metastore.uris</name> 
     <value>thrift://cdhdemo:9083</value> 
    </property> 
    <property> 
     <name>hive.metastore.warehouse.dir</name> 
     <value>/user/hive/warehouse</value> 
    </property> 

2）.ORあなたはSparkSessionをプログラム的に設定することができます

sparkSessionBuilder 
     .config("hive.metastore.uris", "thrift://chddemo:9083") 
     .config("hive.metastore.warehouse.dir", "/user/hive/warehouse") 
     .config("fs.defaultFS", "maprfs://chddemo:7222") 
     .enableHiveSupport()