StormCrawlerのリダイレクトに制限はありますか？

Question

_redirToタグはElasticSearchのステータスインデックスにあります。リダイレクトに関するいくつかの質問は次のとおりです。

1. リダイレクトの制限はありますか？ループの終わりには、 のリダイレクトはありませんか？
2. 特定のフェッチされたURLのリダイレクト回数はいくつですか？私は を見ることができます。_redirToタグにはただ1つのリダイレクトしかありません。 URLのリダイレクトが2〜3回あるとリダイレクト回数を取得できませんか？

Answer 1

シードからの深さに制限を設定できます。MaxDepth URL filterを参照してください。ただし、連続するリダイレクトの数に直接は影響しません。

あなたが気づいたとおり、私たちは特定のドキュメントがリダイレクトされたURLだけを追跡します。

シードからの距離に関係なくredirsの数を制御したい場合は、MetadataTransferを拡張または変更するか、プロトコル実装内のredirsを処理する方法があります。これは、ターゲットがURLは既に取得されています。

UPDATE「redirections.allowed」という名前のconfig要素があり、デフォルト値はtrueです。私はちょうどそれが正しく処理されなかったとしてSimpleFetcherBoltの修正をプッシュしました。