スパーク・リフト・サーバーにウェアハウス・ディレクトリへのパスを与える

Question

スパーク・クラスタをセットアップしましたが、Spark SQLコネクタを介してTableauに接続できました。

私はスパークシェルからテーブルを作成し、（saveAsTable）を使用してMySQLからデータフレームを保存しました。

Tableauから保存したテーブルにアクセスするにはどうすればよいですか？スパークスリフトサーバーを起動するときに、ウェアハウスディレクトリのパスを指定する必要がありますか？はいの場合、どのように行うことができますか？いいえ、どうすればこのことができますか？

Answer 1

あなたは火花シェルと ため同じメタストアを指していることを確認しthriftserver

メタストアの共有は、両方のシェルを起動し、簡単な

1. では2つの方法であることができます同じ場所から退去する
2. メタストアのリモートデータベースを設定する

あなたは--hiveconfで倹約サーバースパークとして会議通話数をスパークするハイブ会議通話数を渡すことができ--conf

./sbin/start-thriftserver.sh \ 
    --conf spark.sql.warehouse.dir=path/to/warehouse/dir \ 
    --hiveconf hive.server2.thrift.port=<listening-port> \ 
    --hiveconf hive.server2.thrift.bind.host=<listening-host> \ 
    --master <master-uri> 
    ...