Sparkインテグレーションテストのハイブ設定

Question

Spark SQLインテグレーションテスト用にHiveを設定する方法を探しています。これは、テーブルがテンポラリディレクトリまたはテストルートの下のどこかに書き込まれるようにします。私の調査では、HiveContextを作成する前に、fs.defaultFSとhive.metastore.warehouse.dirの両方を設定する必要があることが示唆されています。

このanswerに記載されているとおり、後者を設定するだけで、Spark 1.6.1では機能しません。

val sqlc = new HiveContext(sparkContext) 
sqlc.setConf("hive.metastore.warehouse.dir", hiveWarehouseDir) 

表のメタデータは適切な場所に保存されますが、書かれたファイルは/ user/hive/warehouseに移動します。

データフレームは、例えば、

df.write.saveAsTable("tbl") 

ファイルを書き込む場所があると思われるデフォルトのデータベースのlocationを使用していますHiveMetastoreCatalog.hiveDefaultTableFilePathへの呼び出しを介して決定されるために、明示的なパスなしで保存されている場合HiveContextの構築時にキャッシュされるため、fs.defaultFSの設定後にHiveContextの構成は無効です。

これは、統合テストに非常に関連しています。これは、DROP TABLE tblがテーブルメタデータを削除するだけですが、テーブルファイルを残してしまうことを意味します。これは既知の問題です。herehereを参照してください。解決策は、hive.metastore.warehouse.dir == fs.defaultFS + user/hive/warehouseです。要するに

、このようfs.defaultFSやhive.metastore.warehouse.dirなどのプロパティをコンフィギュレーションすることができますどのようにプログラムで前HiveContextコンストラクタの実行を設定しますか？

Answer 1

SparkSessionを作成する前に、SparkSessionのビルダーで「spark.sql.warehouse.dir」を設定することができます。正しく伝播するはずです。

Spark 1.6の場合は、プログラムでhite-site.xmlを作成することをお勧めします。

Answer 2

spark-testing-baseライブラリにはDataFrameSuiteBaseLikeの設定の一部としてTestHiveContextが設定されています。何らかの理由でscala-testing-baseを直接使用することができない場合でも、設定作業の仕組みを確認することができます。