スパークのハイブは色相では機能しません

Question

色相のインターフェイスを使用してスパークのハイブをトリガーしようとしています。ジョブはコマンドラインから実行すると完全に動作しますが、色相から実行しようとすると例外がスローされます。私はセットを使用して.hqlファイル内のすべてのプロパティを与えるときときI）私は

ERROR : Failed to execute spark task, with exception 'org.apache.hadoop.hive.ql.metadata.HiveException(Unsupported execution engine: Spark. Please set hive.execution.engine=mr)' 
org.apache.hadoop.hive.ql.metadata.HiveException: Unsupported execution engine: Spark. Please set hive.execution.engine=mr 

2のエラーを取得

set spark.home=/usr/lib/spark; 
set hive.execution.engine=spark; 
set spark.eventLog.enabled=true; 
add jar /usr/lib/spark/assembly/lib/spark-assembly-1.5.0-cdh5.5.1-hadoop2.6.0-cdh5.5.1.jar; 
set spark.eventLog.dir=hdfs://10.11.50.81:8020/tmp/; 
set spark.executor.memory=2899102923; 

コマンド）

1：色相では、私は主に二つのことを試してみました色相プロパティでプロパティを与えると、mrエンジンでは動作しますが、実行エンジンでは動作しません。

すべてのヘルプは、私がoozieでシェルのアクションを使用してこの問題を解決した

Answer 1

をいただければ幸いです。 このシェルアクションは、自分のSQLファイルを持つpysparkアクションを呼び出します。

ジョブがjobtrackerでMRとして表示されても、スパーク履歴サーバーはスパークアクションとして認識し、出力が達成されます。

シェルファイル：

#!/bin/bash 
export PYTHONPATH=`pwd` 
spark-submit --master local testabc.py 

のpythonファイル：

from pyspark.sql import HiveContext 
from pyspark import SparkContext 
sc = SparkContext(); 
sqlContext = HiveContext(sc) 
result = sqlContext.sql("insert into table testing_oozie.table2 select * from testing_oozie.table1 "); 
result.show()