google-cloud-dataproc

1熱

1答えて

私は、GCSQLにIPv4アドレスで接続して、Google Cloud SQL（MySQL）上のデータでDataprocを使用しました。 BigQueryでデータを使用できるように、DataprocからBigQueryへの接続はありますか？

3熱

2答えて

PySpark + Google Cloud Storage（wholeTextFiles）

私はPySpark（Google Dataproc）を使用して約100万のHTMLファイルを解析し、関連するフィールドを凝縮ファイルに書き出しようとしています。各HTMLファイルは約200KBです。したがって、すべてのデータは約200GBです。データのサブセットを使用すると、以下のコードは正常に動作しますが、数時間実行されてからデータセット全体を実行するとクラッシュします。さらに、ワーカーノード

1熱

1答えて

が正常に<a href="https://cloud.google.com/dataproc/tutorials/jupyter-notebook" rel="nofollow">https://cloud.google.com/dataproc/tutorials/jupyter-notebook</a></p> <p>私の質問を使用して、私はpysparkでjupyter実行することができる午前ノートブック

をjupyter使用してpysparkすることです - 私は（火花CSVまたはgraphframesのような）pysparkするパッケージを追加して、それらを使用していた場合ノートブック、従うべきベストプラクティスは何ですか？ --packagesオプションを使って新しいpysparkジョブにパッケージを追加できますが、その新しいpysparkコンテキストをノートブックにどのように接続すればいいで

0熱

1答えて

DataProcクラスターのGoogle Cloud Sdk

google-dataprocクラスターのpub-subなどpython google cloud apisを使用/インストールする正しい方法は何ですか？たとえば、クラスタでzeppelin/pysparkを使用していて、pub-sub apiを使用したい場合、どうすればよいですか？デフォルトのクラスタプロビジョニング時にインストールされているものとインストールされていないものが不明で、Goog

0熱

1答えて

なぜGoogle dataprocはPOMファイルに含まれていますが、coreNLP jarファイルを取得しませんか？

私のアプリケーションは、Sparkを使用するJava Mavenプロジェクトです。ここではスタンフォードcoreNLPの依存関係を追加して、私のポンポンでのセクションがあります： <dependency> <groupId>edu.stanford.nlp</groupId> <artifactId>stanford-corenlp</artifactId>

0熱

1答えて

使用していないときにdataprocクラスタを終了するにはどうすればよいですか？

私は、ユーザーからのジョブを受け入れるシステムを持っています。これらのジョブは、dataprocでスパークジョブとして実行されます。日中は多くの仕事が走っていますが、夜は何もないかもしれません。私は、ダウンタイムのこれらの期間中にクラスタを終了し、新しいジョブが受信された後にクラスタを再起動または再作成する最善の方法が何であるか疑問に思っていますか？ここでの目標は、非活動期間中は請求されないことで

0熱

1答えて

PySparkのWindow関数のパーティションを設定するには？私はPySparkジョブを実行している、と私は、次のメッセージが出てい

： WARN org.apache.spark.sql.execution.Window: No Partition Defined for Window operation! Moving all data to a single partition, this can cause serious performance degradation. メッセージは何を示しんし、どのように私は、ウ

2熱

1答えて

DataProcでSparkを実行しているときに新しいジョブをキューに入れる方法

Google Dataproc（PySpark）にいくつかのジョブを提出して、現在のエグゼキュータに適合しないジョブをキューに入れる方法はありますか？ここだけ、任意の以下のジョブの出力をキューイングするために動作しないジョブをサブミット： $ gcloud dataproc jobs submit pyspark myjob.py ... WARN Utils:70 - Service 'S

0熱

1答えて

dataprocからCloud SQLにアクセスするには？

私はdataprocクラスタを持っており、クラスタにCloud SQLインスタンスにアクセスさせたいと思います。私がクラスタを作成したとき、私はスコープ--scopes sql-adminを割り当てましたが、Cloud SQL documentationを読んだ後、プロキシを介して接続する必要があるようです。どのように私はdataprocからのアクセスのためにこれを設定できますか？ UPDATE：

3熱

1答えて

失敗したdataprocワーカープロセスを調べるにはどうすればよいですか？

私はPySparkジョブを実行していますが、Imはワーカープロセスの失敗の原因を特定することができません。 16/04/10 03:24:21 WARN org.apache.spark.scheduler.cluster.YarnSchedulerBackend$YarnSchedulerEndpoint: Container marked as failed: container_146024