Google DataprocでSpark実行エンジンを使用するようにHiveを設定するにはどうすればよいですか？

Question

私は、Google Dataprocイメージv1.1（Hive 2.1.0とSpark 2.0.2）上で動作するHiveを設定して、デフォルトのMapReduceの代わりに実行エンジンとしてSparkを使用しようとしています。

https://cwiki.apache.org/confluence/display/Hive/Hive+on+Spark%3A+Getting+Startedの指示に従わないと、hive.execution.engine=sparkに設定するとError running query: java.lang.NoClassDefFoundError: scala/collection/Iterableエラーが発生します。

誰もがこれをDataprocで実行する特定の手順を知っていますか？私はHiveとSparkの両方が既にクラスタにインストールされ、設定されているので、Hiveに正しいJARを見せてもらうことができます。

Answer 1

これはおそらくDataprocクラスタのjarでは機能しません。 Dataprocでは、SparkはHiveをバンドルしてコンパイルされています（-Phive）。これはHive on Sparkが提案/サポートしていません。

実際にHiveをSparkで実行したい場合は、wikiに記載されているようにコンパイルされた初期化アクションで独自のSparkを起動することをお勧めします。

Teveを実行しているDataprocでMapReduceからHiveを実行したい場合は、おそらくthis initialization actionで簡単になります。