2017-10-16 6 views
0

クロールを再開可能に設定できることは既に知っています。Javaクローラのcrawler4jを使用してクロールを一時停止および再開することはできますか?

ただし、再開可能な機能を使用してクロールプロセスを一時停止し、その後プログラムでクロールを再開することは可能ですか?例えば。私は正常にshutdownクローラのシャットダウン方法でクロールし、再開可能なパラメータをtrueに設定して、再びクロールを開始できます。

再開可能パラメータの主な目的は、クローラの偶発的なクラッシュを処理するためです。 crawler4jでこの機能を実現する方法は他にも良い方法がありますか?

答えて

1

再開可能なパラメータをtrueに設定すると、FrontierDocIdServerは、キューをユーザー定義ストレージフォルダに格納します。

これは、クラッシュまたはプログラムによるシャットダウンのいずれかで機能します。どちらの場合も、ストレージフォルダは同じでなければなりません。

も参照してください。公式トラッカーのthe related issueも参照してください。

関連する問題