私の単体テストでは、自分のラップトップにハイブコンテキストでローカルスパークを実行します。これらのフォルダはorg.apache.hadoop.hive.ql.session.SessionState
クラスによって作成された埋め込みHiveを/ varと/ tmpディレクトリからリダイレクト
... INFO SessionState: Created local directory: /var/folders/h3/...
... INFO SessionState: Created HDFS directory: /tmp/hive/<username>/...
:起動時に、それはその一時ファイルのための2つのディレクトリ、/tmp
下/var
下に1つずつ作成されます。
ローカルのセキュリティサービスを起動しないように、これらのディレクトリを別のフォルダにリダイレクトする必要があります。 /Users/<username>/safe/
。
これらのデフォルト設定を上書きして、指定したパスの一時フォルダを開くにはどうすればよいですか?スタンドアロンハイブ、SessionState
で
私はそれが 'spark.sql.warehouse.dir 'だと思います。パラメータを見てください。 'SparkSession.config()'を使って設定することができます – philantrovert
@philantrovert nope :( –