私は3つのノードが設定されたflinkクラスタを持っています。 Webインターフェイスでは、3つのタスクマネージャ、3つのタスクスロット、3つの利用可能なタスクスロットを参照してください。Flink pythonジョブの実行が失敗します
私は単純な単語カウントを実行しようとしており、3回のうち2回は非常に確定的に失敗します。私はそれがマスターで実行されていないたびに失敗すると仮定します。
ここに私のflink-conf.yaml
とword_count.py
ファイルがあります。
私は取得しています例外は次のとおりです。
Caused by: java.lang.RuntimeException: Plan file caused an error. Check log-files for details.python: can't open file '/data/tmp/flink/flink-dist-cache-9fc4a122-1f21-4930-a998-db31129b4596/a68369119ce030c8ca4a0b98aeb39387/flink_dc/plan.py': [Errno 2] No such file or directory
(スタックトレースとの完全な実行がhereである。)
私はすべてのフォルダをチェックし、それらはすべてrwx
権限を持っています。
私は間違って何を考えているのですか?
Flinkバージョンを使用していますか? python.dc.tmp.dirパラメータを、すべてのノード(hdfsなど)がアクセス可能なファイルシステムの場所を指すように設定する必要があります。 –
@ChesnayScheplerそれだけです!ありがとうございました!私はそれを受け入れることができるように答えとして投稿することができます。また、「隠された/書かれていない」構成変数のリストは、どこで見つけることができますか? :) –