google-cloud-dataproc

0熱

1答えて

Dataproc PySpark労働者は1マスターノードと2人の労働者とDataproc Iセットアップの下

gsutilのPySparkクラスタを使用する権限がありません。バケツには、ファイルのサブディレクトリのディレクトリがあります。 Datalabノートで私はこれが私に何の問題もなく、すべてのサブディレクトリを与える import subprocess all_parent_direcotry = subprocess.Popen("gsutil ls gs://parent-directori

0熱

1答えて

「JBlasはパッケージまたはApacheのメンバーではありません」というエラーの解決策は何ですか？

私はこれらのスレッド（ thisとthis）のスレッドから解決しようとしましたが、自分の仮想マシンで私のために働いていましたが、クラウドdataprocでは動作しませんでした。私は両方のプロセスで同じことをしました。しかし、クラウドにはまだ仮想マシンのエラーと同じエラーが残っています。それを解決するために雲の上で何をすべきか？

0熱

1答えて

気流DataProcPySparkOperatorがグローバル領域以外のクラスタを考慮していません

DataProcPySparkOperatorを使用していくつかの操作を実行しています。この演算子は、パラメータとしてクラスタ名を取るだけで、領域を指定するオプションはなく、デフォルトではグローバル領域を持つクラスタを考慮します。グローバル以外の領域とのクラスタの場合は、次のエラーが発生します。 googleapiclient.errors.HttpError: https://dataproc

2熱

1答えて

Jupyterノートブックで使用するGoogle DataProcクラスターを開始するときに、追加のjarを追加するにはどうすればよいですか？

jupyterノートブックを起動するための初期化スクリプトを使用してGoogle DataProcクラスタを開始する手順に従っています。私はJupyterノートブック（特にpyspark）が得られSparkContextに（例えばスパーク-XML、）余分なJARファイルを含めることができますどのように https://cloud.google.com/blog/big-data/2017/02/g

1熱

1答えて

DataprocクラスタのSpark UIからファイルを取得するときのHTTPコード302

Dataprocクラスタを起動し、ポート4040でWeb UIを使用する際に問題が発生しました。まず、spark-shellで表示されるIPとポートを表示します。次に、Spark UIポートにURLを設定すると、302エラーコードが表示されます。 wilsonbill522 @ cluster-db78-m：〜$ spark-shell デフォルトのログレベルを「WARN」に設定します。ロギング

0熱

1答えて

Google dataprocでsparkストリーミングジョブ以上の動作

dataprocクラスタで複数のスパークストリーミングジョブを実行するにはどうすればよいですか？ capacity-scheduler.xmlを使用して複数のキューを作成しましたが、12種類のストリーミング集約アプリケーションを実行する場合は12キューが必要になります。何か案が？

0熱

1答えて

オンデマンドHDFSのデータをGoogle Cloud Storageに安全に転送するにはどうすればよいですか？

私は、オンデマンドのHDFSインストールで多数のデータを持っています。私はその一部をGoogle Cloud（Cloud Storage）に移行したいと思っていますが、いくつか懸念があります：実際にデータを移動するにはどうすればよいですか？私は公共のインターネットクラウドストレージへの私のHDFSストアからデータを安全に移動するための最良の方法は何の上に移動する心配？

3熱

1答えて

数字のタスクより多くの番号のタスクdataprocの

dataprocのエグゼキュータおよびタスクの数に関するいくつかの奇妙な動作を観察しています。クラスタ内で使用可能なコアの数によって、（理論上は）並列で実行できるタスクの数が制限されることになります。つまり、32コアは最大32個のタスクを意味します。しかし、dataprocでは、いくつかの異なる動作を観察することがあります。基本的に可能な同時タスクの数は基本的に2倍です。 12 + 1（マスター）

0熱

1答えて

気流Dataprocオペレータがシェルスクリプトを実行する

dataprocクラスタにシェルスクリプトを直接実行する方法はありません。現在、私はpysparkoperator（aonther pythonファイルを呼び出し、このpythonファイルがシェルスクリプトを呼び出す）を介してシェルを実行できます。私は多くのリンクを検索しましたが、今のところ直接的な方法は見つかりませんでした。誰かが私に最も簡単な方法を教えてくれれば、本当に役に立ちます。 shオ

0熱

1答えて

追加マシン型パラメータは

GoogleのクラウドのPythonのドキュメントには、以下の機能を持っているスクリプト（のpython-DOCS-サンプル/ dataproc/submit_job_to_cluster.py）を持っています私はこの機能でクラスターのマスターノードとワーカーノードのマシンタイプを指定することが可能かどうか疑問に思っていましたか？