Herokuメモリエラーが発生し、S3から大きなファイルを読み込む

Question

PHP用のAWS 2.3.2 SDKを使用して、ストリームラッパーを使用してS3から大きなファイル（〜4g）をプルダウンしようとしています。 fopen/fwriteを使用してファイルをディスクに書き込み、バッファをメモリに書き込まないでください。ここで

は参照です：ここでは

http://docs.aws.amazon.com/aws-sdk-php-2/guide/latest/service-s3.html#downloading-data

は私のコードです：

public function download() 
    { 

     $client = S3Client::factory(array(
        'key' => getenv('S3_KEY'), 
        'secret' => getenv('S3_SECRET') 
        )); 

     $bucket = getenv('S3_BUCKET'); 
     $client->registerStreamWrapper(); 

     try { 
      error_log("calling download"); 
      // Open a stream in read-only mode 
      if ($stream = fopen('s3://'.$bucket.'/tmp/'.$this->getOwner()->filename, 'r')) { 
       // While the stream is still open 
       if (($fp = @fopen($this->getOwner()->path . '/' . $this->getOwner()->filename, 'w')) !== false){ 

        while (!feof($stream)) { 
         // Read 1024 bytes from the stream 
         fwrite($fp, fread($stream, 1024)); 
        } 
        fclose($fp); 
       } 
      // Be sure to close the stream resource when you're done with it 
      fclose($stream); 
     } 

ファイルのダウンロードが、私は継続的にHerokuのからのエラーメッセージを取得：

2013- 08-22T19：57：59.537740 + 00：00英雄[run.9336]：プロセス実行 MEM = 515M（100.6パーセント）2013-08-22T19：57：59.537972 + 00：00 Herokuの[run.9336]： エラーR14これはまだあると信じて私をリード

を（メモリ割当て制限を超えました）メモリに何らかの形でバッファリングする。 https://github.com/arnaud-lb/php-memory-profilerを使用しようとしましたが、Segフォルトがあります。

私はまた、CURLOPT_FILEオプションを指定してcURLを使用してファイルをダウンロードしようとしましたが、ディスクに直接書き込むためにメモリが不足しています。奇妙なことは、topによると私のPHPインスタンスは223mのメモリを使用しているので、許可された512の半分でもありません。

他にもアイデアはありますか？私はこれをPHP 5.4.17からテストするために実行しています。

Answer 1

すでに2倍のdynoで試しましたか？それらは1GBのメモリを搭載していますか？

また、PHPでcurlコマンドを実行してファイルをダウンロードすることもできます。最もクリーンな方法ではありませんが、より高速で、より信頼性が高く、メモリにもやさしいでしょう。

exec("curl -O http://test.s3.amazonaws.com/file.zip", $output); 

この例は公開URLです。 S3ファイルを公開したくない場合は、署名付きのURLを作成し、curlコマンドと組み合わせて使用​​することができます。