google-cloud-dataproc

0熱

1答えて

コマンドラインツールを使用してhadoop cluster image versionを設定することはできますか？ WebUIコンソールまたはGCloudを使用すると、Hadoop 2.xおよびHive 1.2をサポートするイメージバージョン1.0を選択できます。これとは対照的に、bdutilを使用すると、Hadoop 2.xをPigとHiveと共に配布することはできません。

0熱

1答えて

GoogleクラウドスパークElasticSearchのtransportClient接続例外

すなわちspark-submit --master local[*]すべてがOK走る、私はGoogleクラウド上のスパークを使用していると私は、私はローカルで実行Elasticsearchデータベース import org.elasticsearch.action.search.SearchResponse; import org.elasticsearch.client.transport.T

1熱

1答えて

BigQueryとHadoopコネクタはフェデレーテッド・テーブルで機能しますか？

私は上の例を次のようだ：https://cloud.google.com/hadoop/examples/bigquery-connector-spark-example 私はBigQueryの上で連合テーブルを持っています。これでデータを引き出すことができるでしょうか？

0熱

1答えて

Sparkから何十億もの行を出力する

PySparkを使ってテキストファイルとして〜5,000,000行のRDDを出力しようとしています。長い時間がかかりますから、.saveAsTextFile()をより速くする方法のヒントは何ですか？行はそれぞれ3列で、HDFSに保存します。

3熱

1答えて

突発的なソケットタイムアウトが発生するDataprocのデータストリーミングスパイラルストリーム

Google Cloud DataprocのSparkストリーミングを使用して、複数の連続したパイプラインからなるフレームワーク（Pythonで書かれています）を実行します。 Kafkaのキューから取り出し、変換された出力をBigtableに書き込みます。すべてのパイプラインを組み合わせると、1日あたり数ギガバイトのデータを2つのクラスタ（3つのワーカーノードと4つのノード）で処理します。 Dat

2熱

2答えて

複数のgoogle-dataflowおよびdataprocジョブ

データ収集とETLの目的で複数のGoogle-dataflowジョブがあります。、次にgoogle dataprocジョブ（Spark）を使用して機械学習を行います。これらのジョブをワークフローのようにまとめると、ワークフロー全体をスケジュールできるようになります。あなたは私を助けることができるいくつかの提案/製品がありますか？

0熱

1答えて

PySparkジョブ内でDataprocのjobIdを取得する方法

私はいくつかのバッチジョブを実行しています。私はdataprocから保存された出力ファイルへjobIdを参照したいと思います。これは、引数と出力に関連するすべてのログを結果に関連付けることを可能にします。欠点が残っています：YARNのエグゼキュータが過去になくなったため、単一のエグゼキュータのログはもう取得できません。

0熱

1答えて

私の既存のkafka - spark - cassandraプロジェクトをgoogle-cloud-platformのkafka - dataproc - cassandraにどのように配備できますか？

私の既存プロジェクトはkafka-spark-cassandraです。今私はgcpアカウントを持っており、スパークジョブをdataprocに移行する必要があります。私の既存のスパークジョブでは、masterip、memory、coresなどのパラメータは、Linuxシェルスクリプトによってトリガされ、新しいsparkConfを作成するコマンドラインを通されます。ヴァルconfに=新しいSpark

2熱

1答えて

Dataprocクラスタのパーティション数を指定/確認する方法

n1-standard-4マスターマシンと4台のワーカーマシンのDataprocクラスタをスピンアップすると、n1-standard-4も作成されますデフォルトでは？ 32個のパーティションがあることを確認したい場合は、PySparkスクリプトでどのような構文を使用しますか？ Googleストレージバケットから.csvファイルを読み込んでいます。は多くのパーティションが（Dataprocジョブ出

0熱

1答えて

Google DataflowとApache Sparkストリーミング（Google CloudまたはGoogle Dataprocのいずれか）

私はCloudとBig Dataを初めて使用していますが、これに興味があり、Javaプログラミングではかなりの経験があります。私は現在、Apache SparkストリーミングのパフォーマンスをGoogle Cloud Dataflowと比較するための私のユニプロジェクトに取り組んでいます。私は比較完了を含む多くの記事を読むhere。私はSparkとDataflowのプログラミングモデルが異なって