request.getにCtrl-C

Question

を許可せず、端末がハングアップする私は、端末でハングのpython3に次のコードピースをしようとしていますターミナルウィンドウを強制終了します。ブラウザのウェブサイトに移動しようとすると、同様の応答が生成されます。ウェブサイトは無期限に読み込まれます。

この問題を処理するにはどうすればよいですか？

ありがとうございます！

Answer 1

ブラウザで同じことが起こる場合、これはサイト固有の問題です。

URLリストを反復処理するときにこれらのタイプのサイトをスキップするには、非同期プロセスが必要です。マルチスレッドを掘り下げたくない場合は、Scrapywhere requests are scheduled and processed asynchronously

accepted answer hereなどが役に立つでしょう。あなたはsempahoreロジックを変更する必要があります（私はマルチスレッド化に精通していないと思います）。