InputStreamファイルと出力の一部を読み取る

Question

大きなファイルセット（それぞれ約2〜3GB）があり、それを読み取ってその一部を新しいファイルに出力するにはInputStreamを使用する必要があります。

//this is just for example 
int size=100; 
String src="pathtofile"; 
OutputStream os = null; 
Inputstream is = new FileInputStream(new File(src)); 
byte[] buffer = new byte[size]; 
byte[] bufferis = getBytesFromIS(is); 

buffer=Arrays.copyOfRange(bufferis,0,buffer.length); 

String tempstr=new String(buffer); 
byte[] tempBytes=Arrays.copyOfRange(bufferis, buffer.length,is.available()); 
os = new FileOutputStream(new File(dest)); 
copy(new ByteArrayInputStream(tempBytes), os); //function writing to file 

これは小さなファイルで正常に動作しますが、大きなファイルで使用しているとき、私はまだOutOfMemoryErrorを取得し、-Xmx6114mを設定した場合でも、OutOfMemoryErrorを得続けます。

Answer 1

最大配列長は、Integer.MAX_VALUEよりわずかに小さく、約2e9である。だから、全体をbyte[]に読み込むことができず、何か別のものを使わなければなりません。おそらくByteByfferが最も速い解決策（メモリマップされたファイル）でしょう。

Answer 2

あなたはgetBytesFromIS(is)を表示しませんが、ファイル全体を読み込むと仮定すると、それは必要ありません。

最も簡単な方法は、すでにこの機能を提供しており、十分にテストされたライブラリを使用することです。たとえば、Apache Commons IOUtilsとなります。

それ以外の場合は、オフセット0から目的の長さで始まるInputStream.read(b, off, len)を使用できます。 しかし、この機能は、ではなく、で、必要なデータ量をすべて読み取ることが保証されています。