google-cloud-dataproc

0熱

1答えて

Dataprocクライアント：googleapiclient：クラスタ内のすべてのジョブ（runnng、stoppedなど）のリストを取得するメソッド

Google Cloud Dataprocを使用してsparkJobを実行しています。クラスタに対応するすべてのジョブとその状態のリストを取得する必要があります。私がJOB_IDを知っていれば私は res = dpclient.dataproc.projects().regions().jobs().get( projectId=project, region=reg

1熱

1答えて

GCSからnuma配列を読み込んで

Googleストレージにnumpy配列を含む100個のnpzファイルがあります。私はjupyterでdataprocをセットアップしましたが、すべてのnumpy配列をspark RDDに読み込もうとしています。 numpy配列をGoogleストレージからpysparkにロードする最も良い方法は何ですか？ np.load("gs://path/to/array.npz")のように簡単にnumpy配

0熱

1答えて

Pythonを使用してkmeansクラスタリングを計算する場合、DataprocのndarraysのデータソースとしてBigQueryを使用する利点がありますか？

Dataprocのドキュメントから、pysparkを使用してBigQueryからデータを読み取ることは可能ですが、ndarrays代わりにCloudStorageのファイル表現を読み取るという形（xxxxxxx）を持つと

1熱

1答えて

Google Dataprocで失敗したジョブのアラート通知を送信するには？

Dataprocで送信されたジョブの通知をフックする方法があるのだろうかと思います。 Dataprocを使用してストリーミングアプリケーションを24時間365日稼働させる予定です。しかし、Dataprocは失敗したジョブを通知する方法がないようです。 Google StackDriverが何らかの手段で使用できるかどうかは疑問です。おかげ Suren

1熱

2答えて

google dataprocを管理するpreemptible-workers永続的なディスクサイズ

私はgoogle dataprocを使って作成したクラスタでjupyterを使用しています。クラスタの "サイズ"（マシンタイプ、ブートディスクサイズ、ワーカー数、...）を私のニーズに合わせて変更しようとしましたが、かなりうまく動作しています。主な問題は、プリエンプティブワーカーの永続ディスクサイズを変更する方法がないことです。私は、このコマンドを使用しています： gcloud datap

1熱

2答えて

DataprocのSpark 2.0とScala 2.11？

先週Spark 2.0 finalがリリースされました。いつDataprocで見ることができますか？ Spark 2.0はデフォルトでScala 2.11を使用します - これはDataprocがScala 2.11を使用することを意味しますか？ Scala 2.11は実際に私たちが最も待ち望んでいる機能です。 Scala 2.10は古くなっていて、2.10をサポートしていないので使用できないよう

0熱

1答えて

Google Cloud DataProcのパフォーマンス監視

Googleでは、大規模なデータ分析にGoogleCloudPlatformを使用しています。処理のため、Googleでは現在google cloud dataproc & spark-streamingを使用しています。私たちは、これらのいずれかの設定するためのDr.Elephantなど、神経節、グラファイトのようないくつかの監視ユーティリティを使用してを仕事のパフォーマンスをチェックしたい

0熱

1答えて

Dataproc：REST APIを使用してスパークジョブを送信

大規模な分析にGoogleCloudPlatformを使用しています。処理のためにGoogleでは現在google cloud dataproc & spark-streamingを使用しています。 REST APIを使用してSparkジョブを送信したいのですが、api-keyを使用してURIを呼び出すときに、以下のエラーが表示されます。 { "error": { "code"

4熱

1答えて

Cloud Dataprocでワーカーノードのサイズを変更した後にスパーク設定を更新する方法

私はDataProc Sparkクラスタを持っています。最初に、マスタノードと2つのワーカーノードはn1-standard-4（4 vCPU、15.0 GBメモリ）のタイプであり、Webコンソールを介してすべてn1-highmem-8（8個のvCPU、52 GBメモリ）にリサイズしました。私は、2つのワーカーノードが完全に使用されていないことに気付きました。特に、/usr/lib/spark/c

1熱

1答えて

ImageV1.0.0でDataProc Avroバージョンの原因となるエラー

dataproc image 1.0とspark-redshiftのdataprocジョブを実行しています。ここでは、二つのクラスタを持っているいくつかの詳細は、次のとおりです。クラスタA - 最後2016. Jul 15. 11:27:12 AEST クラスタB作成>がPySparkストリーミングジョブを実行し、 - > PySparkのバッチジョブを実行し、クラスタが毎回作成されますジョブ