DeadlineExceededErrorの対処方法

Question

私はウェブスパイダーのようなものを作っています。 WEB LISTから必要なデータをキャッチします。 WEBリストの量は約20です。 1秒から10秒ほどで完了します。

私が知っているDeadlineExceededErrorは、リクエストハンドラが30秒以内に終了しなかったことを意味します。 私は30秒の制限を変更できないことも知っています。

私は自分の仕事を小さなものに分割する必要がありますが、それをどうやって行うのか分かりません。 Sが発生している

List<String> ids = agent.getWebList(); 

    if(ids.iterator().hasNext()) { 
     for(String id : ids) { 
      Data d = agent.getDetailedDataById(id); 
      agent.updateData(d); 
     } 
    } 

Answer 1

最善のアプローチは、タスクキューを使用することです：

Java Task Queue docs

Python Task Queue docs

Answer 2

二DeadlineExceededError：

は、ここに私のコードです。あなたは初めてそれを捕まえることができます。そして、あなたの状態を整理して、後でやり直すか、次のステージのためにタスクを生み出す準備を整えましょう。

DeadlineExceededErrorを2度目にキャッチすることはできません。あなたがウェブスパイダーで作業している場合

Answer 3

あなたのIDを反復しながら、カウンターを保持します。 DeadLineExceededErrorをキャッチすると、その位置から処理を開始するタスクに引数としてカウンタを渡します。これは順次行われます。また、ジョブを分割して、同時に処理するいくつかのタスクに割り当てることもできます。