スパークとメタストア関係

Question

私はハイブメタストアは、我々はHIVEで作成したテーブルのメタデータを格納するために使用されているという事実を知っていたが、なぜスパークは、メタストアを必要とメタストア間のデフォルトの関係は何であると

んスパークありませんmetasoreはspark SQLで使用されていますが、もしこれがデータフレームメタデータを格納するのであれば？

iamがSQLライブラリを使用していなくても、デフォルトでmetastore接続を確認するのはなぜですか？ここ

Answer 1

はspark-2.2.0 documentation

ハイブ-site.xmlのにより構成されていない場合、コンテキストは自動的にそのデフォルト値に、現在のディレクトリにmetastore_dbを作成しspark.sql.warehouse.dirで構成ディレクトリを作成から説明しますSparkアプリケーションが起動されているカレントディレクトリ内のディレクトリspark-warehouse。 hive-site.xmlのhive.metastore.warehouse.dirプロパティは、Spark 2.0.0以後廃止予定です。代わりに、spark.sql.warehouse.dirを使用して、ウェアハウス内のデータベースのデフォルトの場所を指定します。