400マルチスレッドプログラムでJsoupを使用したHTTPエラー

Question

私はhtmlページを解析するプログラムを作成しました。 ThreadPool内の呼び出し可能クラス内でjsoup connect関数を使用します。問題は、私が同じWebサイトに接続していることと、スレッドプールサイズが5+以上で、IO例外 - 400エラーが発生することです。

どうしたらいいですか？

Answer 1

HTTP応答が400件の場合は、レスポンスの内容でエラーメッセージがないかどうかを確認してください。 400は何らかの悪質なリクエストを意味します。必要な情報や不正な情報がすべて含まれていませんでした。また、クライアントが好きでないことをしたときに、それをキャッチオールとして使う人もいます。あなたがたくさんの異なる要求をしている場合は、400の原因となったものを調べて、何か問題があるかどうかを調べます。それらがすべて正しく見える場合、または同じリクエストを繰り返し送信している場合、特定の時間枠内にあまりにも多くの同時リクエストまたはあまりにも多くのリクエストを作成できないような種類のレート制限があります。それがそういうものなら、何が起きているのかを伝えるメッセージがあると思います。