apache-spark-2.0

0熱

1答えて

私たちはライブマシンのデータをjsonとして取得しており、RabbitMQからこのデータを取得しています。以下のデータは、その後、下記の「X」分の期間のためにウィンドウ表示され JSONのサンプル、 {"DeviceId":"MAC-1001","DeviceType":"Sim-1","TimeStamp":"05-12-2017 10:25:35","data":{"Rate":10,"spe

-2熱

1答えて

Pyspark：ファイルテキストが分割された後に印刷できない

Python（pyspark）でコーディングを開始するのが初めてです。メッセージを}{に分割する必要があるtxtファイルがあります。メッセージは{...}{...}...で始まります。私は {...} {...} {...} 数もあり、内部メッセージ {... {...} ... } のようなコードにこれらを分割したい：私はコードの下にしようとしていますと私はというエ

0熱

1答えて

Ignite：ログファイルにログオンしていないコード内のsystem.out.printコマンド

コンソールで/root/apache-ignite-fabric-2.3.0-bin/bin/ignite.shという2つのigniteサーバノードを起動しました。 -v リモートクライアントから、私はClusterGroupサンプルプログラムを実行します。コンソールの両方のサーバーノードに以下の種類のログ（system.out.printから印刷されたもの）が表示されます。私は、サーバー・ノード

0熱

1答えて

スパーク・スタンドアロン・クラスタ・チューニング

8コアと50GBのメモリ（シングルワーカー）を持つ単一ノード上で動作するスタンドアロン・クラスタ2.1.0を起動します。私たちは、以下のメモリ設定とクラスタモードでスパークアプリケーションを実行 - --driver-memory = 7GB (default - 1core is used) --worker-memory = 43GB (all remaining cores - 7 co

0熱

1答えて

Spark 2.x saveAsTable

Spark 2.1.0 Java APIを使用して、DataFrame（行のデータセット）をHiveテーブルとして保持しようとしています。私はDataFrameWriterクラスのsaveAsTableメソッドを使ってみました。 df.write(appendMode).saveAsTable("tablename"); 私は org.apache.spark.sql.AnalysisExcept

1熱

2答えて

マルチスレッドドライバからApache Spark SQLジョブを起動する

Sparkを使用して約1500のリモートOracleテーブルからデータを取得したいと思っていましたが、スレッドごとにテーブルをピックアップするマルチスレッドアプリケーションそれぞれのテーブルから読み取るスパークジョブを起動します。スパークは、アプリケーション間でのスケジューリングのための設備を提供で実行されていることを公式火花サイトからそれは、これが働くことができることは明らかだhttps://

1熱

1答えて

flatMapGroupsWithStateを使用してステートフルアグリゲーションを行う方法は？

flatMapGroupsWithStateの適用中に次のエラーメッセージが表示されます。スレッド「メイン」org.apache.spark.sql.AnalysisExceptionで例外：更新モードでflatMapGroupsWithStateは、ストリーミングデータフレーム/データセットの集計ではサポートされていません。以下は私がやろうとしていることです。カフカから読むメッセージ& そ

0熱

1答えて

Spark 2.2.0でデータが読み込めない形式のデータセット

以下は、intellij IDE上でspark2.2.0で実行しようとしているコードです。しかし、私が得ている出力は、readble形式では見えません。 val spark = SparkSession .builder() .appName("Spark SQL basic example").master("local[2]") .getOrCreate()