google-cloud-dataproc

1熱

1答えて

Bigtableはネットワークを介してDataprocにマップステージを実行するためのデータを送信しますか？

Google Dataprocクラスタを使用して、Bigtableに対してSpark M/Rジョブを実行しています。マップステージを実行するためにBigtableからDataprocクラスタにネットワーク経由で送信されるデータは、物理的にBigtableクラスタ上で実行されますか？

0熱

1答えて

Java SDKを使用してDataprocのGceClusterConfigでZoneUriを指定する方法

Dataprocを使用して新しいComputeクラスタを作成しようとすると、「us-west1-a」や「us-central1」などの「本当の」ゾーンを指定すると-f "、このエンドポイントで指定されたゾーンがサポートされていないというエラーメッセージが表示されます。（下のエラーテキストを参照してください）ご覧のとおり、エラーに従って、領域は「グローバル」になると予想されます。ただし、グローバ

0熱

1答えて

Google Dataprocで2つの異なるプロジェクトIDを使用するPysparkとBigQuery

Google Dataprocを使用して異なるプロジェクトIDでいくつかのpysparkジョブを実行したいと考えています。私はpysparkとGoogle Cloudの初心者ですが、thisの例に従っており、うまくいきます（BigQueryデータセットが公開されている場合、またはProjectAのGCPプロジェクトに属している場合）。入力パラメータは、次のようになります。 bucket = sc.

0熱

1答えて

Dataprocで作成したGoogleクラスタの外部IPアドレスをプログラムで見つける方法は？

GoogleのDataprocを使用してComputeクラスタを作成すると、プロジェクトのクラスタ名が "MyCluster"の場合、 "MyProject-107701"となると、内部クラスタは "mycluster-mcmyproject-107701.internal"と認識されます".c"は由来していますが、nslookupの使用によって明らかになったものです）。 "mycluster-m

1熱

1答えて

Dataprocでエラーを診断するクラスタ操作を作成する（Javaライブラリ）

Google Dataprocを使用してクラスタを作成しようとすると、結果は最初は正常に返されたように見えますが、 "作成中"から "エラー"状態。残念なことに、診断呼び出しを呼び出そうとするのは役に立たないようです。ここは、（いくつかの自由は、APIを介して、または構成プロパティを介してのいずれかで得られた代わりの値のハードコードされた文字列でコードを提示するために取られた）私がやっているもの

1熱

1答えて

google-data-procで「numpyという名前のモジュールがありません」というエラーが表示され、google-data-procでnumpyをアップグレードするにはどうすればよいですか？

私は import numpy as np ImportError: ('No module named numpy', <function _parse_datatype_json_string at 0x7fc294e25230>....... グーグル、クラウド・データ-PROCに私のノートを実行しかし、同じのpython 2.7 でローカルで実行しているときにエラーを取得しないとき私

0熱

1答えて

Google DataprocでSparkを実行すると、saveAsTextFileの使用中にローカルディスクまたはHDFSの代わりに外部ストレージ（GCS）に一時ファイルが保存されるのはなぜですか？

私は、次のPySparkコードを実行した： from pyspark import SparkContext sc = SparkContext() data = sc.textFile('gs://bucket-name/input_blob_path') sorted_data = data.sortBy(lambda x: sort_criteria(x)) sorted_dat

2熱

1答えて

dataproc、特にspark.yarn.am.memoryのデフォルト設定を有効にする

google dataprocでは、スパークの設定がどのように決定されたのでしょうか？私の場合、私は3ノードN1-標準-4クラスタを実行していますし、自動的に生成された火花-defaults.confには、次のようになります。設定は、そのように設定されている理由は、私は疑問に思って # User-supplied properties. #Fri Dec 16 12:01:47 UTC

0熱

1答えて

google-fluentd：クラウドログの重大度を変更するlog_level

Google Cloud Dataprocクラスタでスパークジョブ（スパークストリーミングの多く）を実行しています。私たちは、クラッシュロギングを使用して、スパークジョブによって生成されたすべてのログを収集しています。現在、多くの "INFO"メッセージが生成されているため、ログボリューム全体のサイズは数TBになります。 google-fluentdの設定を編集して、ログレベルを「INFO」で

2熱

1答えて

BigQueryからSparkに効率的に読み込みますか？

BigQuery Connectorを使用してBigQueryからデータを読み取ると、すべてのデータが最初にGoogle Cloud Storageにコピーされることがわかりました。このデータをSparkに並列に読み込みますが、大きなテーブルを読み込むとデータステージのコピーに非常に時間がかかります。 BigQueryからSparkにデータを読み込む効率的な方法はありますか？もう1つの質問：Bi