クローンジョブを終了させる

Question

現在、夜間のみ実行できるクローンを毎晩実行するためにcronジョブを使用しています。しかし、データが巨大になることがあり、一晩はすべてをクロールするのに十分ではないことがわかった。だから私は午前6時のようにそのプロセスを殺す必要があります。 cronjobを使用してクローラプロセスを強制終了するにはどうすればよいですか？

Answer 1

クロールのために使用する内容にもよりますが、連続して実行されるStormCrawlerがあります。「storm jar ...」コマンドを呼び出すと、「storm kill」コマンドを実行してクロールを開始することができます。 .. ' Apache Nutchでは、現在実行中のhadoopジョブをリストし、それを強制終了することで同じことを達成できます。しかし、現在の反復を終了させ、クロールを終了する前にセグメントを解析して索引付けする方がクリーンです。繰り返しますが、使用しているクローラによって異なります。