1日おきに "多すぎるフェッチ失敗"が発生する

Question

約400 GBのデータを掘り起こす2つの大きな豚ジョブを実行すると、このエラーが発生します。 ジョブを強制終了してクラスタをサイレント状態にした後、すべてが正常に機能することがわかりました。 本当の問題が何かを提案してください。

Answer 1

解決策、datanodeノード/ etc/hostsファイルを修正します。 短い形式のホスト： 各行は3つの部分に分かれています：ネットワークIPアドレスの最初の部分、ホスト名またはドメイン名の2番目の部分、ホスト別名の詳細な手順の3番目の部分は次のとおりです。 1 、最初に確認してくださいホスト名：

猫は、/ proc/sys/kernel /ホスト名

は、ホスト名属性が表示されます、[OK]を背後IPの値を変更し、終了します。 2、コマンド：

ホスト名*を使用します。 。 。 *

アスタリスクは対応するIPに置き換えられます。 3、次のように同様のホストの設定を変更：

127.0.0.1 localhost.localdomainをローカルホスト :: 1 localhost6.localdomain6 localhost6 10.200.187.77 10.200.187.77のHadoop、データノード

IPアドレスである場合正常に変更されたときに設定されるか、ホスト名が表示される問題がある場合は、ホストファイルを変更し続けます