HDInsightSpark ACCEPTED：AMコンテナの割り当て、起動、およびRMへの登録を待つ

Question

データファクトリでHDInsightSpark PythonアクティビティをSPARK/HDINSIGHTクラスタを呼び出すことができません。デフォルトのAzure Spark Clusterの設定を変更する必要はありますか？専用のキューを作成しようとしましたが、新しいキューでジョブが表示されますが、同じエラーが表示されます。このエラーはよくあるようですが、それを解決する修正がないようです。 Jupiterのすべてのノートブックは動作しますが、データファクトリを使用するとスタックしてしまいます。正しい.pyファイルが糸ログに表示されるため、ジョブが正しく選択されます。

Answer 1

ADFがジョブをサブミットするには、デフォルトのAzure Sparkクラスタの設定を変更する必要はありません。 「AMコンテナの割り当て、起動、RMへの登録を待っている」というメッセージは、Sparkクラスタが正しい状態でないことを示します。 MapReduce job hangs, waiting for AM container to be allocated