1
何らかの理由により、何らかの理由でクラスタが誤動作しているように見えます。突然YARNジョブの数が急増しています.HDInsight LinuxベースのHadoopクラスタを使用しています。 Azure Data Factoryジョブを実行して、基本的にこのクラスタを指すハイブスクリプトを実行します。特定の時点でのYARNアプリの平均的な数は、実行中は50、保留中は40〜50です。 Noneは、このクラスタをアドホッククエリの実行に使用します。しかし、数日後には何か変わったことに気がつきました。突然、紡績アプリの数が増え始めます。実行中でも保留中ですが、特に保留中のアプリです。したがって、この数は、紡績アプリを実行する場合は100を超え、保留の場合は400以上、場合によっては500以上になります。私たちには、すべての糸アプリを1つずつ殺すスクリプトがありますが、それは長い時間がかかりますが、それは実際の解決策ではありません。私たちの経験から、唯一の解決策は、クラスタが削除され、再作成されることです。スライスが失敗した場合にADFが何度も再試行を続けても、クラスタがすべての失敗したスライス実行要求を格納している可能性があります。 （ADFによると）プールで実行可能なときに実行しようとしていますか？おそらくそれが起こる可能性があるのは唯一の説明でしょう。誰もこの問題に直面していますか？HDInsightクラスタのYARNアプリケーションの数が突然急増しました