hivecontext

1熱

1答えて

Spark SQL（HiveContextを介したHiveクエリ）は常に31個のパーティションを作成します

私はSparkコードからHiveContextを使用してハイブクエリを実行しています。どんなクエリを実行してもデータの量に関係なく、常に31個のパーティションが生成されます。誰もその理由を知っていますか？定義済みの/設定可能な設定はありますか？基本的にはもっと多くのパーティションが必要です。 VAR pairedRDD = hqlContext.sql（HQL）.rdd.map（...）私はスパ

6熱

1答えて

単位でTestHiveContext/HiveContextを使用すると、私はユニットテストでこれをやろうとしている

をテスト： val sConf = new SparkConf() .setAppName("RandomAppName") .setMaster("local") val sc = new SparkContext(sConf) val sqlContext = new TestHiveContext(sc) // tried new HiveContext(sc) as

0熱

1答えて

Pyspark：動的ハイブクエリでcurrent_timestampを取得

私は、ジョインに基づいて2つのテーブルからデータを挿入するPythonプログラムでSparkを準備しています。ターゲット・テーブルの最後の列には、タイムスタンプ・フィールドがあり、タイムスタンプ・フィールドの値はcreate timestampになります。私はcurrent_timestampとfrom_unixtime（unix_timestamp（））を試しました。両方の機能が動作していない

2熱

1答えて

Spark HiveContext - 外部パーティションのハイブテーブルの区切り文字からの読み込み

下位ファイルのある外部パーティションのハイブテーブルがあります。ROW FORMAT DELIMITED FIELDS TERMINATED BY '|' Hive経由で直接データを読み込むのは問題ありませんが、SparkのDataframe APIを使用する場合、区切り文字 '|'考慮されていません。外部パーティション表を作成します。 hive> create external table e

0熱

1答えて

HiveExceptionは：</p> <p>2）は、我々が使用して、このSQLファイルを呼び出している、私たちは二つの異なるハイブのテーブルからデータを収集し、単一ハイブテーブルに挿入されたSQLファイルを作成している

1）スパーククライアントの作成に失敗しましたシェルスクリプト 3）サンプルスパーク設定： SET hive.execution.engine=spark; SET spark.master=yarn-cluster; SET spark.app.name="ABC_${hiveconf:PRC_DT}_${hiveconf:JOB_ID}"; --SET spark.driver.memor

1熱

1答えて

hiveContext経由のSpark JobでHive関数を使用する

私はHive 1.2とSpark 1.4.1を使用しています。 hive> select row_number() over (partition by one.id order by two.id) as sk, two.id, two.name, one.name, current_date() from avant_source.one one inner join avant_sou

1熱

1答えて

HiveContextを使用してSparkの最小値を含む行以外の行を選択します。

私は、タイムスタンプとマシンIDを含むSpark Data Frameを持っています。私は各グループから最低のタイムスタンプ値を削除したいと思います。私は、次のコードを試みた： sqlC <- sparkRHive.init(sc) ts_df2<- sql(sqlC,"SELECT ts,Machine FROM sdf2 EXCEPT SELECT MIN(ts),Machine FROM