ラピッドマイナーがクロールのWeb結果を保存しない

Question

IMDBのウェブサイトから特定のムービーレビューのレビューをクロールしようとしています。このため私は74ページあるのでループ内に埋め込んだクロールウェブを使用しています。

設定のイメージが添付されています。助けてください。これにひどく詰まっています。

クロールのWebのURLは次のとおりです。http://www.imdb.com/title/tt0454876/reviews?start=%{pagePos}

Answer 1

私はそれを試したとき、私は403 forbiddenエラーを得ましたIMDBサービスは私がロボットだと思うからです。 Loopを​​と使用すると、Loopオペレータは待機を実装しないため、悪い習慣です。

このプロセスは、​​演算子に減らすことができます。重要なパラメータは以下のとおりです。

• URL - http://www.imdb.com/title/tt0454876
• 最大ページに設定する - 79またはものは何でも
• 最大ページサイズ必要数にこれを設定 - この設定を1000に
• ルールクロール - セットをあなたは
• 出力ディレクトリを指定したものにこれら - クロールオペレータがめざしますので、これは動作します

で物事を格納するフォルダを選択しますルールに一致する可能性のあるすべてのURLを抽出し、一致するものを保存します。この訪問は、サーバでロボットの除外を引き起こさないように、1000ミリ秒（遅延パラメータ）だけ遅延します。

これはあなたが最初になることを望みます。