hivecontext

1熱

4答えて

hivecontext.sqlでnull文字列と空の文字列をフィルタリングします。

私はpysparkとhivecontext.sqlを使用しています。私のデータからすべての空値と空値を除外したいと思います。私は単純なSQLコマンドを使用して最初にNULL値をフィルタリングしましたが、それは機能しません。マイコード： hiveContext.sql("select column1 from table where column2 is not null") が、それは "

0熱

1答えて

SparkとScalaを使用してHive Tableにデータを挿入する際の問題

Sparkの新機能です。ここに私がやりたいことがあります。私は2つのデータストリームを作成しました。最初にテキストファイルからデータを読み込み、hivecontextを使って魅力的なものとして登録します。もう1人はKafkaからRDDを連続的に取得し、RDDごとにデータストリームを作成し、内容を魅力的なものとして登録します。最後に、これらの2つの一時テーブルをキーに結合して、最終結果セットを取得

1熱

1答えて

スパークSQLはHDFSからJSONファイルは、このような

私のコード読み取りが失敗しました：エラーが発生した火花シェルで val sqlContext = new org.apache.spark.sql.hive.HiveContext(sc) import sqlContext.implicits._ val customers = sqlContext.read.json("jsonfilepath") を、私はこれを理解することはできませ

0熱

2答えて

DataFrameでカウントクエリをクエリする際に整数値を取得する方法はありますか？

私が指定したテーブル内の数の整数値を取得するには、このコードを書いています： sc = SparkContext("local", "spar") hive_context = HiveContext(sc) hive_context.sql("use zs_trainings_trainings_db") df = hive_context.sql("select count(*) fro

2熱

1答えて

spark 1.6のhivecontextクエリで動作していないcount（distinct）がある

最近、私たちは1.3から1.6バージョンのsparkアップデートを行いました。このアップデートの後、 "count（distinct）"条件のクエリは機能しません。エラー問い合わせ::持つクエリとして hiveContext.sql( "select A1.x, A1.y, A1.z from (select concat(g,h) as x, y, z from raw_parquet whe

0熱

1答えて

キャッシュされたテーブルのsparc SQLパーティションのプルーニング

apache sparkのキャッシュされたTempテーブルでパーティションのプルーニングが有効になっていますか？もしそうなら、どうすれば設定できますか？私のデータは、さまざまなインストールでセンサーの読み取り値の束です.1行には、installationName、タグ、タイムスタンプ、および値が含まれています。今 val parquet = hc.read.parquet("/path_to_t

1熱

1答えて

spive hivecontextを使用して外部ハイブパーティッションテーブルを読み取る際の問題

私は、HiveContextを使用してSparkから読み取ろうとしている外部ハイブパーティションテーブルを持っています。しかし、私はnull値を取得しています。 val maxClose = hiveContext.sql（「ストック_パーティション化されたデータからの最大の選択（symbol = 'AAPL' "））; maxClose.collect（）。foreachの（のprintln）

0熱

1答えて

SparkJobファイル名

私はハイブに行く、と私はそのコマンドを使用すると、私は INSERT OVERWRITE TABLE ex_tb.ex_orc_tb select *, SUBSTR(INPUT__FILE__NAME,60,4), CONCAT_WS('-', SUBSTR(INPUT__FILE__NAME,71,4), SUBSTR(INPUT__FILE__NAME,75,2), SUBSTR(INPU

0熱

1答えて

pyparkのデータフレーム - 集計関数を2つの列に適用する方法は？

私はpysparkでDataframeを使用しています。表1のようなテーブルが1つあります。それは、各IDの表1の3列目の合計である - それはどのように多くの貴様カテゴリIDごと和（カウント）である - num_category：私は、表2を取得する必要があります。例：表1 id |category | count 1 | 4 | 1 1 | 3 | 2 1 | 1 | 2 2

1熱

1答えて

HiveContext - 外部テーブルとしてハイブにマップされたhbaseテーブルにアクセスできません

SparkのHiveContextを使用してハイブにマップされているhbaseテーブルにアクセスしようとしています。しかし、私はClassNotFoundException例外を取得しています..以下は私のコードです。 initSerDeでのエラー： import org.apache.spark.sql.hive.HiveContext val sqlContext = new HiveCon