2

AWS Glue Data CatalogをSpark SQLのMetastoreとして使用したいと考えています。私はAWSコンソールas instructed hereを通してEMRクラスタを立ち上げました。EMRクラスター内のZeppelinがAWSグルーのカタログ表を表示しない

私はスパークシェルからすべてのグルーカタログテーブルを見ることができますが、ツェッペリンからは見ることができません。

ツェッペリンのプロパティの設定でプロパティを設定する必要はありますか?

ありがとうございます。

+0

- 私たちは、ツェッペリンを経てスパークシェル経由でAWSグルーテーブルにアクセスしますが、できませんでした。 これはツェッペリンの問題かもしれません。まもなく取り上げられることを祈っています... –

答えて

1

EMR 5.9.0がリリースされました(わずか9時間後にリリースされました!)

関連ドキュメント:私たちは、この問題のヒット

http://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-release-components.html

http://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-spark-glue.html

+1

ありがとうございます。そのうまく動作します。 – Jagadeesh

+0

@ Jagadeesh sparrk SQLのメタストアとしてグルーデータカタログを使用するサンプルコードがありますか?私はpysparkからこれをやって、pysparkにデータフレームをロードしようとしています – Drew

関連する問題