hivecontext

0熱

1答えて

hiveテーブルのデータをhiveContextでspark dataframeを使用して読み取り中です。データに対していくつかの集計を行った後、このデータを別のテーブルに格納します（すでにデータがあります）。しかし、新しいデータは既存のテーブルに追加されておらず、エラーも表示されません。注：hiveに保存する前に、dataframeを印刷できます。

1熱

1答えて

スパークジョブによるハイブテーブルの作成

hadoopクラスタ（BigInsight 4.1ディストリビューション）上でスパーク（1.5.1バージョン）ジョブの出力としてハイブテーブルを作成しようとしています。私の推測は、テーブルを作成するためにデフォルトのユーザー（この場合は '糸'ではなくジョブのサブミッターのユーザー名）を使用しているため、そうすることができません。 hive-site.xmlファイルをカスタマイズして、ハイブテーブ

0熱

3答えて

Spark HiveContext：Insert読み込んだ同じテーブルを上書きする

HiveContextでPySparkを使ってSCD1とSCD2を適用したい。私のアプローチでは、私はインクリメンタルなデータとターゲットテーブルを読んでいます。読んだ後、私はupsertアプローチのためにそれらに参加しています。すべてのソースデータフレームに対してregisterTempTableを実行しています。私は最終的なデータセットをターゲットテーブルに書き込もうとしています。読み込まれた

0熱

2答えて

ハイブマージコマンドは、私は1.6.3スパークバージョンでスパークHiveContextを使用してハイブmergeコマンドを実行していますスパークにHiveContext

が動作していないが、それは以下のエラーで失敗しています。 2017-09-11 18:30:33 Driver [INFO ] ParseDriver - Parse Completed 2017-09-11 18:30:34 Driver [INFO ] ParseDriver - Parsing command: MERGE INTO emp_with_orc AS T USING SOUR

0熱

1答えて

sparkを使ってハイブにデータを書き込めません

spark1.6を使用しています。私はsparkコンテキストを使用してhivecontextを作成しています。データをハイブに保存すると、エラーが発生します。私はcloudera VMを使用しています。私のハイブはcloudera vmの中にあり、私のシステムで発火します。私はIPを使ってVMにアクセスできます。私はthriftサーバーとVMにhiveserver2を開始しました。 FAILED:

1熱

1答えて

Spark HiveContext：Spark EngineまたはHive Engine？

私は火花hiveContextを理解しようとしています。我々はそれがスパークエンジンやハイブエンジンを使用しているhiveContext sqlContext=new HiveContext(sc) sqlContext.sql("select * from TableA inner join TableB on (a=b) ") のように使用してクエリを記述する際??私は上記の質問がスパ

0熱

1答えて

spark 1.6ハイブコンテキストsetConf問題

ハイブコンテキストでパーティションテーブルにデータをロードするsqlを実行する際に問題が発生しましたが、私はdynamic partition = trueを設定しましたが、依然として問題が発生しています。 SQL： insert overwrite table target_table PARTITION (column1,column2) select * , deletion_flag ,'

0熱

1答えて

構造体の配列のSpark SQLのスキーマを作成するには？

以下のjsonがスキーマを読み取るためのスキーマを作成する方法。私はhiveContext.read.schema（）。json（ "input.json"）を使用しています。最初の2つの "ErrorMessage"と "IsError"読み取り専用レポートは無視します。以下はJSONです： val schema = StructType( Array( Struc

0熱

1答えて

1つのデータフレームにhivecontextを使用し、もう1つのデータフレームにsqlcontextを使用すると、2つのデータフレームを比較します。

HiveContextとDB2テーブルを使用して1つのデータフレームにハイブテーブルを格納するとき、両方のデータフレームを照会するのにsqlcontextを使用する別のデータフレームでDb2ハイブを検出します。使用できる共通のsqlcontextは何ですか？