spark-hive

0熱

1答えて

宣言されたパッケージ "org.apache.hive.service.cli.thrift"が期待されるパッケージ "java.org.apache.hive.service.cli.thrift"と一致しません

私はsparkソースをEclipseにインポートします。 enter image description here しかし、私はいくつかのエラーがあります。宣言したパッケージ「org.apache.hive.service.cli.thrift」期待されるパッケージ「java.org.apache.hive.service.cli.thrift」に一致しない enter image descri

0熱

0答えて

大きなデータフレームでspark SQL操作を最適化する方法はありますか？

私は大きなハイブテーブルを持っています（約90億レコードとorcフォーマットの〜45GB）。私はテーブルのいくつかのプロファイリングを行うためにスパークSQLを使用しています。しかし、これに任意の操作を行うには時間がかかります。入力データフレーム自体の単なるカウントには、完了までに11分かかります。どのカラムでもmin、max、およびavgだけで1時間半以上かかります。限られたリソースクラスタ（

0熱

1答えて

のように、それはパラメータだと私はJavaSparkContextオブジェクトを使用して、SQLコンテキストオブジェクトを作成しようとしているコンストラクタSQLContextオブジェクト

を作成しながら、HiveContext（JavaSparkContext）は未定義のエラーです：：Eclipseはというエラーを投げている SparkConf sparkConf=new SparkConf().setMaster("local").setAppName("Example"); JavaSparkContext sc=new JavaSparkContext(sparkConf

1熱

1答えて

依存関係が与えられたときにHiveContextをテストしようとすると、java.lang.SecurityExceptionがスローされる

スパークコンテキストを作成するユニットテストを実行すると、java.lang.SecurityExceptionが得られます。私は原因が何であるのか理解していますが、解決方法を突き止める方法はわかりません。これは、異なるパッケージ署名者情報を持つ同じパッケージjavax.servletを共有する複数の依存関係が存在するためです。 // Dependencies libraryDependenci

1熱

1答えて

ロケーションを持たない外部ハイブテーブルを作成するには？

私は空の外部ハイブテーブルを作成したいクラスタモードの糸クラスターにspark sql 2.1.1ジョブを持っています（後の手順で場所を追加するパーティションが追加されます）。 CREATE EXTERNAL TABLE IF NOT EXISTS new_table (id BIGINT, StartTime TIMESTAMP, EndTime TIMESTAMP) PARTITIONED B

0熱

1答えて

spark.writeStreamの結果をハイブに保存するにはどうすればよいですか？

spark.readStreamを使用して、カフカからデータを読み込み、結果のデータフレームで爆発を実行しています。私はHiveテーブルに爆発の結果を保存しようとしていますが、私はその解決策を見つけることができません。 val query = tradelines.writeStream.outputMode("append") .format("memory")

1熱

1答えて

同じキーでfeildの配列を作成するスパーク

私はスパークのコンテキストの上に存在するハイブテーブルを持っています。私はその最終的な表となる上記表からスキーマ val dataSchema = new StructType( Array( StructField("key", StringType, nullable = true), StructField("param", ArrayType( Str

1熱

1答えて

カスタムハイブバインディングを使用したスパーク

1.2ではなく現在の（ハイブ2.1）バインディングを使用してsparkをビルドするにはどうすればよいですか？ http://spark.apache.org/docs/latest/building-spark.html#building-with-hive-and-jdbc-support この動作の仕組みについては言及していません。スパークはハイブ2.xでうまく動作しますか？

0熱

1答えて

私はStudentAddress除くテーブル内のすべての列を選択したいので、私は、クエリ、次の書いたスパークSQL

内のすべての特定の列を除いて選択します。 select `(StudentAddress)?+.+` from student; それはリスSQLクライアントでエラーを次与えます。 org.apache.spark.sql.AnalysisException：あなたは、特定の列を削除して、すべての列を選択するために、データフレームのAPIでdrop()方法を使用することができます「(Stude

0熱

1答えて

Spark Hive：DataFrameの列を取得できません

Spark on Hiveを試しています。コードでは、私は新しいDataFrameを作成し、HiveContext.createDataFrame方法を使用して、カスタムデータとそれを埋める：私はコマンドで上記のコードを実行すると JavaSparkContext sc = ...; HiveContext hiveCtx = new HiveContext(sc); StructFie