この見れ:Cloudera Hive on Spark 2.x?
https://www.cloudera.com/documentation/spark2/latest/topics/spark2_known_issues.html#hive_on_spark
を要約すると、それはハイブはClouderaのでスパーク2.xの上では動作しませんと言います。
しかし、私はHiveが他のディストリビューションでSpark 2.xで動作すると仮定します。 HiveをSpark 2.xで実行するには誰でもCDH 5.10.x以上を設定していますか?
Spark 2.xはSpark 1.6から大きく飛躍しましたか?
はい、Spark 2.xはSpark 1.6から大きく飛躍しました。 ClouderaのデプロイメントでSpark 2.xでHiveを使用したことはありませんが、Clouderaのユーザーフォーラムでもお聞きし、ここで回答してください。 – Garren
わかりませんが、私の理解は次のとおりです。Hive-On-Spark 2は、Hiveの実行エンジンとしてSpark 2を使用するコンセプトです。 Hive-On-Spark 2がなくても、Spark 2を使用してHiveテーブルを操作することができます(CDH 5.8を使用してこれを行います)。 –
ハイブメタデータにアクセスし、それを使用してカスタムスパークジョブを作成し、それが記述している根本的なデータですか?私はそれが役に立つと思うが、私たちはexeエンジンとしてSpark 2.xを使ってHiveクエリを実行できるようにしたい。 ClouderaのSpark 1.6でこれを行うことができます。 – medloh