spark-streaming

0熱

1答えて

私は現在、Spark（v 2.2.0）ストリーミングアプリケーションを開発しており、Sparkがクラスタ全体に作業を割り当てる方法に関する問題に取り組んでいます。このアプリケーションはクライアントモードを使用してAWS EMRに送信されるため、ドライバノードと2つのワーカーノードがあります。ここで、最後の時間にメモリ使用量を示す神経節のスクリーンショットである： Ganglia Screensho

1熱

1答えて

スパーク（2.2）：構造化ストリーミングを使用してカフカからデリシアライズの倹約記録

私はスパークするのが新です。私は構造化されたストリーミングを使用してカフカからデータを読み込みます。私はScalaでこのコードを使用してデータを読み取ることができます。 val data = spark.readStream .format("kafka") .option("kafka.bootstrap.servers", brokers) .option

0熱

1答えて

Apache Spark時間ベースのKafkaオフセット

私はスパークコンシューマ（spa‌rk-streaming-kafka_2‌.10バージョン1.6.0）を使用しています。私のsparkランチャーは、5つのパーティションでkafkaキューからメッセージを聞きます。私はスパークアプリケーションを停止してから、設定したものに基づいて最小または最大のオフセット値を読み取ります。しかし、私はSaprkアプリケーションは私がstop.for後にmee

-5熱

1答えて

スパークはアラビア語のテキスト解析をサポートしています

アラビア語のつぶやきを分析したいですが、スパークはアラビア語をサポートしていますか？

1熱

2答えて

リアルタイムSQL ServerからAzure Datawarehouseにデータを転送

Microsoft Azureデータウェアハウスの上にリアルタイムのレポートサービスを構築しようとしています。現在、私は約5 TBのデータを持つSQLサーバーを持っています。私はデータウェアハウスにデータをストリーミングし、Azure DWの計算能力を使用してデータに基づいてリアルタイムのレポートを生成したいと考えています。それを行うための準備ができていますか？私が検討していたアプローチの1つは

1熱

1答えて

スパークストリーミング：複数のスキーマを持つカフカからデータを読み込む

私はスパークストリーミングの実装に苦労しています。カフカからメッセージは次のようにより多くのフィールド {"event":"sensordata", "source":"sensors", "payload": {"actual data as a json}} {"event":"databasedata", "mysql":"sensors", "payload": {"actual da

0熱

1答えて

eventhubからアプリケーション受信メッセージを受信するspark-streamingによって生成された進行ディレクトリを削除する方法

Eventhubutilsライブラリによって生成されたプロセスディレクトリは、hdfsに多数の小さなファイルを作成しています。 https://github.com/Azure/spark-eventhubs/blob/master/docs/direct_stream.md。これらの小さなファイルのために、namenodeに多くの負荷があります。スパークアプリケーションを妨害せずに進行ディレクト

0熱

1答えて

スパークストリーミング - スパークストリーミングでNetcatメッセージが受信されない

スパークストリーミングをテストしようとしています。私はスタンドアローンでクイックスタートのVMを持っています。次のコマンドを使用して、スパーク・シェルを開始しました：私は、次のステートメントを実行している火花シェルで spark-shell --master yarn-client --conf spark.ui.port=23123 ：別の端末では sc.stop() import org

0熱

1答えて

kafkaからelasticsearchにデータをインポートする際の進捗状況とエラーログのインポート方法

背景：私はelasticsearchするカフカからデータをインポートしようとしている、とクライアントの2種類があります。 1つはWebクライアントで、もう1つはエージェントクライアントです。 Webクライアントは、ユーザーのアップロードは、Webクライアントは、csvファイルからすべての10,000行を読み取るときに、CSVファイルを処理し、合計行がプロデューサーにカウントCSVでデータメッセー

1熱

1答えて

spark-hbaseコネクタが切れたチケットのケルベロス

私はCDH 5.8.4のクラスタを持っています。私は、cloudera spark-hbaseコネクタ、すなわちHBaseContextを使用してHBaseから/にデータを読み書きするスパークストリーミングアプリケーションを起動しています。私はアプリケーションを起動すると、プリンシパルとkinitをspark-submitスクリプトに与えます。 7日後、HBaseコンテキストに関連するチケットの