ファイルを読み込み（> 150MB）、ファイルの内容をByteArrayOutputStreamとして返します。

Question

大きなファイル（> 150MB）を読み込み、ファイルの内容をByteArrayOutputStreamとして返します。これは私のコードです...

private ByteArrayOutputStream readfileContent(String url) throws IOException{ 

    log.info("Entering readfileContent "); 
    ByteArrayOutputStream writer=null; 
    FileInputStream reader=null; 

    try{ 
     reader = new FileInputStream(url); 
     writer = new ByteArrayOutputStream(); 

     byte[] buffer = new byte[1024]; 

     int bytesRead = reader.read(buffer); 
     while (bytesRead = > -1) { 
      writer.write(buffer, 0, bytesRead); 
      buffer = new byte[1024]; 
     } 

    } 
    finally { 
     writer.close(); 
    } 

    log.info("Exiting readfileContent "); 
    return writer; 
} 

私はjava.lang.OutOfMemoryError: Java heap space exceptionを取得しています。私は、Javaヒープサイズを増加しようとしましたが、それはまだ発生します。誰かがこの問題を支援してくれますか？

Answer 1

あなたのアプローチでは、ファイルと少なくとも同じメモリ量を使用しますが、ByteArrayOutputStreamはバイト配列を記憶域として使用しているため、150,000回（150メガ/ 1024kバッファ）のサイズを変更する必要があります効率的ではありません。ヒープサイズをファイルサイズの2倍にして、bufのサイズをもっと大きくすると実行可能になるかもしれませんが、他のポスターが言っているように、ファイルを読み込むのではなく、ファイルを読み込む方がはるかに優れていますストリングとして。

Answer 2

BufferedInputStreamを返信し、発信者にそれを読むようにしてください。あなたは、ファイル全体をByteArrayOutputStreamとしてメモリにコピーしています。

あなたの質問にはファイルの内容で何かしたいのですか？それがなければ、我々は推測することしかできない。コメントアウトされたServletOutputStreamがあります。元々これに書きたいのですか？この代わりにByteArrayOutputStreamに書き込むことが有効であるはずです。

Answer 3

読み取るバイト数がわかっているので、サイズがByteArrayOutputStreamであるため、時間とスペースを節約できます。これにより、ByteArrayOutputStreamバッキングストレージを「増やす」ための時間とスペースのオーバーヘッドが節約されます。 （私はコードを見ていませんが、おそらくStringBuilderと同じ戦略を使用しています;つまり、それがなくなるたびに割り当てを倍増させます。その戦略は、ピーク時に最大3倍のファイルサイズを使用する可能性があります）

（そして、率直に言って、あなたはサイズがやや無意味なようでわかっているときByteArrayOutputStreamに出力を置く。ただ、十分なバイト配列はビッグ割り当て、そのに直接お読みください。）

それとは別に、答えはあなたがする必要があるということですヒープを大きくする。

Answer 4

whileループにエラーがあります。

while (bytesRead >= -1) { 
    writer.write(buffer, 0, bytesRead); 
    bytesRead = reader.read(buffer); 
} 

にそれを変更してもreaderを閉じることを忘れないでください。

（それはまだメモリの非常に大きな金額が必要になります。）

Answer 5

私はホスト上で十分な連続した仮想メモリを持っていないことで、Windowsの原因でC＃で同様の問題を見てきました。 Windowsの場合は、VM領域を増やすことができます。