大きなファイルをアップロードするためにCommons FileUploadのDiskFileItemを使用すると、OutOfMemoryErrorsを回避するにはどうすればよいですか？

Question

大きい（> 300MB）ファイルをCommons FileUpload 1.2.1を使用しているサーブレット にアップロードするときに、OutOfMemoryErrorsを取得しています。 DiskFileItemを使用する全体のポイントは、おそらく 大きなファイルがメモリに存在しないようにするためです。私はデフォルトサイズの スレッショルドを使用していますので、それはすべて ヒープにロードする必要がありますか？部分スタックトレースは次のとおりです。

java.lang.OutOfMemoryError 
     at java.io.FileInputStream.readBytes(Native Method) 
     at java.io.FileInputStream.read(FileInputStream.java:177) 
     at org.apache.commons.fileupload.disk.DiskFileItem.get(DiskFileItem.java:334) 
     at org.springframework.web.multipart.commons.CommonsMultipartFile.getBytes(CommonsMultipartFile.java:114) 

なぜこのようなことが起こりますか？私はいくつかの設定がありますか？この状況を避けるためのヒント/ヒント以外にヒープサイズを増やす以外に？

理論上、この操作からメモリにロードする必要があるのは10KBを少し超えるため、ヒープを増やす必要はありません。さらに、私のヒープ・マックス（-Xmx）はすでに1GBに設定されています。

Answer 1

ファイルアップロード、特に大きなファイルを扱う場合は、これらのファイルをストリームとして処理して、中サイズのメモリ内バッファにスラップして出力ファイルに直接コピーする必要があります。それを行う間違った方法は、それを書き出す前にすべてを記憶に吸い込むことです。

The doc on commons-uploadには、「ファイルのアップロードを処理する」方法についての説明があります。適度なサイズのチャンク（1 MBなど）で入力ストリームから出力ストリームにコピーすることを忘れないでください。問題はありません。

Answer 2

カールSmotriczの答えは、一般的なケースでは、おそらくより良いですが、あなたが得る例外は、ここで報告されたJVMのバグです：最初は

http://bugs.sun.com/bugdatabase/view_bug.do?bug_id=6478546