2017-09-06 12 views
0

DataProcPySparkOperatorを使用していくつかの操作を実行しています。この演算子は、パラメータとしてクラスタ名を取るだけで、領域を指定するオプションはなく、デフォルトではグローバル領域を持つクラスタを考慮します。グローバル以外の領域とのクラスタの場合 は、次のエラーが発生します。気流DataProcPySparkOperatorがグローバル領域以外のクラスタを考慮していません

googleapiclient.errors.HttpError: https://dataproc.googleapis.com/v1/projects//regions/global/jobs:submit?alt=json returned "No current cluster for project id '' with name ''`

iは、これらの演算子を使って何かそのわずか制限足りませんか?

答えて

2

これらのDataProc {PySpark | Spark | Hive | Hadoop | ..}演算子は今日の地域引数をサポートしていません。気流issueが作成されています。

+0

私にお知らせいただきありがとうございます。この問題が修正されると更新してください。 – Aditi

+0

エアフローに提出された[PR](https://github.com/apache/incubator-airflow/pull/2625)は、数日後にマージする必要があります。 – fenglu

関連する問題