BigQueryに行をストリーミングするときにタイムアウトを指定するにはどうすればよいですか？

Question

基本的には、システムの非常に重要な部分で重要でないデータをBigQueryにストリーミングしたいと考えています。

接続の問題がある場合、またはBigQueryが利用できない場合にプロセスを長時間ブロックしたくないため、最大タイムアウトを約2秒に指定したい場合があります（以前は起こっていましたが、それが頻繁に起こることを期待していない）。

私はBigQueryのに接続するためにgoogle/cloudライブラリを使用していて、基本的にはここで見つけたコード使用しています：私は自分のライブラリーは、HTTPクライアントとしてがつがつ食うを使用していますが、私は知らないと信じてhttps://cloud.google.com/bigquery/streaming-data-into-bigquery

use Google\Cloud\BigQuery\BigQueryClient; 

/** 
* Stream a row of data into your BigQuery table 
* Example: 
* ``` 
* $data = [ 
*  "field1" => "value1", 
*  "field2" => "value2", 
* ]; 
* stream_row($projectId, $datasetId, $tableId, $data); 
* ```. 
* 
* @param string $projectId The Google project ID. 
* @param string $datasetId The BigQuery dataset ID. 
* @param string $tableId The BigQuery table ID. 
* @param string $data  An associative array representing a row of data. 
* @param string $insertId An optional unique ID to guarantee data consistency. 
*/ 
function stream_row($projectId, $datasetId, $tableId, $data, $insertId = null) 
{ 
    // instantiate the bigquery table service 
    $bigQuery = new BigQueryClient([ 
     'projectId' => $projectId, 
    ]); 
    $dataset = $bigQuery->dataset($datasetId); 
    $table = $dataset->table($tableId); 

    $insertResponse = $table->insertRows([ 
     ['insertId' => $insertId, 'data' => $data], 
     // additional rows can go here 
    ]); 
    if ($insertResponse->isSuccessful()) { 
     print('Data streamed into BigQuery successfully' . PHP_EOL); 
    } else { 
     foreach ($insertResponse->failedRows() as $row) { 
      foreach ($row['errors'] as $error) { 
       printf('%s: %s' . PHP_EOL, $error['reason'], $error['message']); 
      } 
     } 
    } 
} 

をどのようにそれを渡すか、私はタイムアウトが設定された時間の後に発生したい。

Answer 1

お勧めします：ブロックしたくないプロセスからBigQueryに直接ストリームしないでください。途中でメイン・プロセスをブロック解除したまま、タイムアウトや再試行を処理できるサービスを設定します。

いくつかのオプションがあります：

• Pub/Sub
• Fluentd
• kikinteractive/go-bqstreamer

あなたは磨きが3年前に投稿話で、このためのいくつかの建築の理由を見ることができます：https://shinesolutions.com/2014/08/25/put-on-your-streaming-shoes/とhttps://shinesolutions.com/2014/12/19/license-to-queue/を。

Answer 2

最初は少し不明でしたが、タイムアウトを含めて、httpOptionsオプションを使用して、Guzzle httpハンドラにオプションを渡すことができます。

上記のコードで

、次のような$table->insertRows()ステートメントを変更します：

$insertResponse = $table->insertRows([ 
    ['insertId' => $insertId, 'data' => $data], 
    // additional rows can go here 
], ['httpOptions' => ['timeout' => $timeoutInSeconds]]); 

をそこにあなたがすべての要求オプションを指定することができますここに記載されているよう：それでもhttp://docs.guzzlephp.org/en/stable/request-options.html

、フェリペの答えはおそらくまだありますより良いアドバイスです。