google-cloud-dataproc

8熱

2答えて

Google DataprocのSpark UIにアクセスするにはどのポートを使用しますか？ Iは、ポート4040および7077、ならびにIファイアウォールが適切に構成されnetstat -pln を使用して見つかった他のポートの束を試みました。

2熱

1答えて

Sparkのログレベルを調整するdataprocで最もエレガントで堅牢な方法は何ですか？

以前の回答で説明したように、Sparkクラスタの冗長性を変更する理想的な方法は、corresponding log4j.propertiesを変更することです。 dataprocスパークが糸上で動作するにはしかし、そこで私たちは、グローバルコンフィギュレーションを調整する必要があると/ usr/libに/火花/ confにいくつかの提案ではない：dataprocオン我々はいくつかのgcloud

7熱

1答えて

Dataprocクラスタの自動設定後、Yarn/Sparkのメモリ割り当てが正しくない

DataprocクラスタでSparkジョブを実行しようとしていますが、Yarnの設定ミスによりSparkが起動しません。シェルから "spark-shell"（マスター上ではローカル）を実行したり、ローカルマシンからweb-GUIおよびgcloudコマンドラインユーティリティを使用してジョブをアップロードすると、次のエラーが表示されます。 15/11/08 21:27:16 ERROR org.