google-cloud-dataproc

1熱

1答えて

Google ChromeのHadoop上でnutch - gloud dataproc

Google Cloud（dataproc）でhadoopを実行しようとすると、以下のエラーが表示されます。私は [email protected]:~/apache-nutch-1.7/build$ hadoop jar /home/user/apache-nutch-1.7/runtime/deploy/apache-nutch-1.7.job org.apache.nutch.crawl.C

hadoop nutch gcloud google-cloud-dataproc 2016-09-11

---

2熱

2答えて

NoSuchMethodError StorageObject.getTimeCreated実行中のジョブDataproc

私はローカルで動作するSparkジョブを実行しようとしています。 Google Storageを使用します。私はこのエラーを取得しています： Exception in thread "main" java.lang.NoSuchMethodError: com.google.api.services.storage.model.StorageObject.getTimeCreated()Lcom/

google-cloud-storage google-cloud-dataproc 2016-09-14

---

1熱

1答えて

Dataprocの「処理ノード」とは何ですか？

Dataproc documentationによると、プリエンプティブVMは処理ノードとしてのみ接続されています。処理ノードとは何ですか？

hadoop apache-spark google-cloud-platform google-cloud-dataproc 2016-09-21

---

0熱

1答えて

google dataprocのサービスアカウントを変更

Googleのドキュメントでは、dataprocクラスタを作成すると、プロジェクトのデフォルトサービスアカウントが使用されているとのことです。 ソース：https://cloud.google.com/sdk/gcloud/reference/beta/dataproc/clusters/create それがデフォルト以外のいくつかの他のサービスアカウントを使用することは可能ですか？

google-cloud-platform google-cloud-dataproc 2016-09-27

---

1熱

1答えて

スパークジョブがGoogle Dataprocと互換性がなくなりました

私はこのコードを1ヶ月間はうまくいきましたが、Google Dataprocで約2ヶ月前に作業を中止しました。 私はので、私は、コードの巨大なブロックを投稿する必要はありませんでしたわずか数行でバグを再現できます。 SparkConf sparkConf = new SparkConf().setAppName("test"); JavaSparkContext jsc = new JavaSp

java apache-spark google-cloud-dataproc 2016-09-28

---

0熱

1答えて

Cloud Dataprocは高可用性をサポートしていますか？

Google Cloud Dataprocクラスタで1つのマスターノードを使用すると、単一障害点が発生する可能性があります。予期しないマスター障害が発生した場合、クラスターを（より）弾力性のあるものにしたいと思います。 高可用性という形式を使用するようにCloud Dataprocクラスタを設定することは可能ですか？単一のマスター障害のイベントを危険にさらすことはありませんか？理想的には私もそう何

google-cloud-dataproc 2016-09-29

---

2熱

1答えて

Spark（Python）とDataprocを使用してGoogleストレージからファイルをダウンロード

Google Storage（my project bucket）からダウンロードするデータを処理するPythonオブジェクトの実行を並列化するアプリケーションがあります。クラスタはGoogle Dataprocを使用して作成されます。問題は、データが決してダウンロードされないということです！問題を理解して理解するためのテストプログラムを書いた。 私はバケツからファイルをコピーするために、労働者上

python apache-spark google-cloud-storage google-cloud-dataproc 2016-10-09

---

0熱

1答えて

Google Dataprocノードのアイドル

私のDataprocクラスタ内の私のノードの1つは、スパークジョブを実行中は常にアイドルです。私はクラスターの削除と再作成を試みました。常に1つのアイドル状態のノードがあります。 理由は、数秒ごとに出てくるログからこれら三つの線で示されているように見える： Trying to fulfill reservation for application application_1476080745886

apache-spark yarn google-cloud-dataproc 2016-10-10

---

0熱

1答えて

ExecutorのハートビートがタイムアウトしましたDataProcを点火して

Google DataProc ClusterのSpark（2.0.0）にmlモデルを適合させようとしています。モデルをフィットさせると、Executorハートビートのタイムアウトエラーが発生します。どうすれば解決できますか？ これはおそらく、エグゼキュータの（1人の）Out of Memoryに起因すると考えられます。ソリューションとして読む：適切な設定、パーティション分割、キャッシュを設定し、

apache-spark apache-spark-ml google-cloud-dataproc 2016-09-03

---