スパークカタログAWS接着剤：データベースが見つかりません

Question

IVEはグルーデータカタログでEMRクラスターを作成しました。私は、スパーク・シェルを起動すると、私は正常に

spark.catalog.setCurrentDatabase("test") 
spark.catalog.listTables 

経由グルーデータベース内に格納されたテーブルを一覧表示することができる午前私は​​経由でジョブを送信するときしかし、私は致命的なエラー

ERROR ApplicationMaster: User class threw exception: org.apache.spark.sql.AnalysisException: Database 'test' does not exist.; 

を取得する私は5.9.0がリリースされたばかり

SparkSession.builder.enableHiveSupport.getOrCreate 

Answer 1

EMR経由​​経由で送信されているジョブ内の私のSparkSessionを作成する - それに打撃を与えてください、それはfは動作するはずですもしくは、あなた。

関連ドキュメント：

http://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-release-components.html

http://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-spark-glue.html

Answer 2

私は同じ問題を持っていた：​​は、AWSグルーライブラリを発見しませんが、spark-shellは、マスターノードの意志に取り組んでいます。

私の​​ジョブは標準org.apache.sparkとorg.apache.hiveライブラリでコンパイルされた脂肪.jarを使用していることが判明しました。 jarライブラリはEMRにインストールされたカスタムクラスの代わりに使用されていました。 これがあなたの場合であれば、すべてを除外することを確認してください：

'org.apache.spark：' 'org.apache.hive：' 'org.apache.hadoop：' あなたからのモジュール.jar

これは私が.Gradle：http://unethicalblogger.com/2015/07/15/gradle-goodness-excluding-depends-from-shadow.htmlに使用したリファレンスです。

すべてのスパークライブラリの前にcompileOnlyキーワードを追加すると修正されました。

Answer 3

私たちの問題は、EMRクラスターに対するIAMの許可でした。クラスタのIAMインスタンスプロファイルがグルーにフルアクセスできることを確認してください。