google-cloud-dataproc

0熱

1答えて

気流でDataProcPigOperatorの領域とゾーン（Google Cloud Platform）を設定する方法

問題が発生しました。デフォルトのゾーンがグローバルに実行されているので、コードをDataProcPigOperatorで作成しますが、asia-easth1コードではクラスタ内の定義領域を変更します。DataProcPigOperatorはグローバル領域を実行するデフォルトジョブであるため実行されません。任意の解決策.. ?? t1 = DataProcPigOperator( task

1熱

1答えて

DataprocのBigQueryとPyspark

私は、BigQueryに、FPgrowthアルゴリズムをクエリして実装するテーブルを用意しています。 dataprocクラスターのVMインスタンスを使用して、まずpysparkシェルで試してみたいと思います。私は、pysparkを使用してBQのテーブルを直接クエリする方法を探しています。 FPGrowth（既に慣れ親しんでいる）を実装するために、結果として得られたクエリデータを使用したいと思いま

0熱

1答えて

Dataprocでジョブをサブミットしようとしたときに "ImportError：モジュール名がpandas"でない場合

Google Cloud DataprocのPythonクライアントライブラリを使用してスクリプトを実行しています。クラスタを自動的にプロビジョニングし、ジョブを送信します。ジョブはImportError: no module named pandasと返されます。私はpandasと、ジョブが実行されるスクリプト内のいくつかの他のパッケージをインポートします。この問題を回避する方法がわかりません。

1熱

1答えて

エラー：Dataprocクラスタ起動時にリソースプロジェクトでアクセス権が拒否されました

gcloud dataproc clusters create...で手動で作成してdataprocクラスタを正常に起動できました。しかし、スクリプトを使って起動しようとすると（クラスタを自動的にプロビジョニングして停止する）、ERROR: (gcloud.dataproc.clusters.create) PERMISSION_DENIED: Permission denied on resou

0熱

1答えて

Google Cloud DataProcのGoogle JDBCドライバのClassNotFoundException

Google Cloud Dataprocで動作するジョブからGoogle Cloud SQLに接続しようとしています。私は外部ネットワークからクラウドSQLインスタンスへのアクセスを許可していません。私のdataprocクラスタは、クラウドSQLと同じプロジェクトに入っているので、接続を許可することを期待しています。私はクラウドSQL（https://cloud.google.com/appe

0熱

1答えて

個々のdataprocスパークログはどこにありますか？

dataprocのスパークジョブログはどこにありますか？私はそこに "ロギング"セクションの下のドライバからのログがあることを知っているが、実行ノードはどうですか？また、Sparkが実行している詳細な手順はどこにありますか（アプリケーションマスターで確認できます）。私はハングアップしてスパークが凍結しているように見えるスクリプトをデバッグしようとしています。

0熱

1答えて

GCP Dataproc spark.jar.packagesで問題が発生しました

Dataproc Sparkクラスタを作成するときに --properties spark:spark.jars.packages=mysql:mysql-connector-java:6.0.6をgcloud dataproc clusters createコマンドに渡します。当社PySparkスクリプトが、これは何もしませんが、最初のに、これはこの依存関係を解決しようとする創造にどうやらC

0熱

1答えて

BigQueryまたはCloud Storage GCSのデータをDataprocに読み取る

BigQueryのデータをdataprocのspark clusterに読み込んでいます。私のケースのBigQueryテーブルのデータが元々GCSから読み込まれている場合は、まずdataproc（newAPIHadoopRDD）のBigQueryコネクタからGoogle Cloud Storageバケットにデータをダウンロードするので、GCSのデータをsparkクラスタに直接読み込む方が良いでしょ

0熱

1答えて

apache sparkでパーティションテーブルまたはビューを読み取る

私はdataproc-bigQueryコネクタを使用してパーティション化されたテーブルを読み込み、300GB以上のデータとそのパーティションを日付で表示していますが、 sparkコネクタで読んで、私はすでにパーティション化されたbigqueryのビューでそれを読んでみましたが、うまくいきません、apache sparkでbigqueryテーブルからパーティションを読み込む方法はありますか？更新（