Nutch Fetcher：取得したURLのペルセウス秒数

Question

1秒あたりフェイルするURLの数を示すプロパティを知りたいと思います。私はそれがマップタスクの数*スレッドの数であることをネットから見てきました。しかし、私の場合、私がそれらを確認するときに数字が一致しません。したがって、毎秒フェッチするURLの数を指定するプロパティはありますか？

に関して、

V.Sriram

Answer 1

は、私はこの問題を自分で考え出しました。実際のフェッチレートは、フェッチャの制限時間とホストプロパティごとのスレッド全体で実行されるマップタスクの数によって異なります。また、ここではフェッチャスレッドの数が影響します。

たとえば、マップタスクの合計数が8で、入力URLのドメイン数が3の場合、そのフェッチサイクルでは3つのマッププロセスしか実行されません。また、各マッププロセスがfetcher.timelimit.minsに対して実行するのと同じドメインからの十分なURLを持っている場合、システムの総フェッチレートはこれらの個々のマップタスクのフェッチレートの合計になります。