2017-05-03 11 views
1

この見れ:Cloudera Hive on Spark 2.x?

https://www.cloudera.com/documentation/spark2/latest/topics/spark2_known_issues.html#hive_on_spark

を要約すると、それはハイブはClouderaのでスパーク2.xの上では動作しませんと言います。

しかし、私はHiveが他のディストリビューションでSpark 2.xで動作すると仮定します。 HiveをSpark 2.xで実行するには誰でもCDH 5.10.x以上を設定していますか?

Spark 2.xはSpark 1.6から大きく飛躍しましたか?

+0

はい、Spark 2.xはSpark 1.6から大きく飛躍しました。 ClouderaのデプロイメントでSpark 2.xでHiveを使用したことはありませんが、Clouderaのユーザーフォーラムでもお聞きし、ここで回答してください。 – Garren

+0

わかりませんが、私の理解は次のとおりです。Hive-On-Spark 2は、Hiveの実行エンジンとしてSpark 2を使用するコンセプトです。 Hive-On-Spark 2がなくても、Spark 2を使用してHiveテーブルを操作することができます(CDH 5.8を使用してこれを行います)。 –

+0

ハイブメタデータにアクセスし、それを使用してカスタムスパークジョブを作成し、それが記述している根本的なデータですか?私はそれが役に立つと思うが、私たちはexeエンジンとしてSpark 2.xを使ってHiveクエリを実行できるようにしたい。 ClouderaのSpark 1.6でこれを行うことができます。 – medloh

答えて

1

最新バージョンのHiveは2.1.xで、Spark 2.xはサポートしていません(https://issues.apache.org/jira/browse/HIVE-14029参照)。 Hiveバージョン2.2.0がリリースされると、Spark 2.xをサポートします。

+0

Hive 2.3.0は現在、Spark 2.0をサポートしています - http://www-us.apache.org/dist/hive/hive-2.3.0/ –

関連する問題