2017-06-27 24 views
0

クローラが最近追加されたyoutubeビデオを見つけるためにクローラを作成しています。クローラが古いビデオに達したときにクローラを停止したいです(前のターンでクロールしました)。私はscrapyとbeautifulsoupを使用していません。私はPythonライブラリを使用しています。私に任意のオプションを提案してください最後にクロールされた特定のURLを取得する際にクローラを強制停止するにはどうすればよいですか?

答えて

0

単純なチェックと合格の仕事はありませんか?

if video in list_of_crawled_videos: 
    pass 
else: 
    list_of_crawled_videos.append(video) 
+0

ありませんそれはちょうど私の提案は参考になりました、その後 'pass' =) –

+0

を継続し、その特定のビデオを取ることが、残っていませんか? –

+0

@Amrinder、上の' break'を交換 –

関連する問題