ファイルI/Oのバッファサイズを自動的に選択

Question

私はかなり基本的な疑いがあります。多くの場合、バッファリングされたファイルI/Oを使用するアプリケーションを作成しなければならず、バッファサイズを選択する際のジレンマに直面するたびに、試行錯誤が繰り返し行われます。 Teracopyのような基盤となるプラットフォームに基づいて、Windowsのファイルを処理するときに自動的に最適なバッファサイズを決定する方法やアルゴリズムがあるかどうかを知りたい。私は主にGUIのためにQtを使います。

可能であれば、C/C++/C＃/ Javaの小さなサンプルが非常に高く評価されています。

ありがとうございます！

Answer 1

Javaでは、最適なL1キャッシュサイズは通常32 KBです。 Javaでは、少なくとも1024バイトまたは1 M​​Bを選択しても大きな違いはありません（< 20％）

データを順番に読み取っている場合、通常、OSはこれを検出してデータをプリフェッチするのに十分です。

できることは次のとおりです。このテストでは、使用されたブロックサイズに大きな違いがあるように見えます。このテストは表示されません何

public static void main(String... args) throws IOException { 
    for (int i = 512; i <= 2 * 1024 * 1024; i *= 2) 
     readWrite(i); 
} 

private static void readWrite(int blockSize) throws IOException { 
    ByteBuffer bb = ByteBuffer.allocateDirect(blockSize); 
    long start = System.nanoTime(); 
    FileChannel out = new FileOutputStream("deleteme.dat").getChannel(); 
    for (int i = 0; i < (1024 << 20); i += blockSize) { 
     bb.clear(); 
     while (bb.remaining() > 0) 
      if (out.write(bb) < 1) throw new AssertionError(); 
    } 
    out.close(); 
    long mid = System.nanoTime(); 
    FileChannel in = new FileInputStream("deleteme.dat").getChannel(); 
    for (int i = 0; i < (1024 << 20); i += blockSize) { 
     bb.clear(); 
     while (bb.remaining() > 0) 
      if (in.read(bb) < 1) throw new AssertionError(); 
    } 
    in.close(); 
    long end = System.nanoTime(); 
    System.out.printf("With %.1f KB block size write speed %.1f MB/s, read speed %.1f MB/s%n", 
      blockSize/1024.0, 1024 * 1e9/(mid - start), 1024 * 1e9/(end - mid)); 
} 

プリント

With 0.5 KB block size write speed 96.6 MB/s, read speed 169.7 MB/s 
With 1.0 KB block size write speed 154.2 MB/s, read speed 312.2 MB/s 
With 2.0 KB block size write speed 201.5 MB/s, read speed 438.7 MB/s 
With 4.0 KB block size write speed 288.0 MB/s, read speed 733.9 MB/s 
With 8.0 KB block size write speed 318.4 MB/s, read speed 711.8 MB/s 
With 16.0 KB block size write speed 540.6 MB/s, read speed 1263.7 MB/s 
With 32.0 KB block size write speed 726.0 MB/s, read speed 1370.9 MB/s 
With 64.0 KB block size write speed 801.8 MB/s, read speed 1536.5 MB/s 
With 128.0 KB block size write speed 857.5 MB/s, read speed 1539.6 MB/s 
With 256.0 KB block size write speed 794.0 MB/s, read speed 1781.0 MB/s 
With 512.0 KB block size write speed 676.2 MB/s, read speed 1221.4 MB/s 
With 1024.0 KB block size write speed 886.3 MB/s, read speed 1501.5 MB/s 
With 2048.0 KB block size write speed 784.7 MB/s, read speed 1544.9 MB/s 

ハードドライブが唯一の60メガバイトをサポートしていることである/ sの読み取り40 MB/sの書き込み。あなたがテストしているのは、キャッシュの速度と速度です。これが唯一の優先順位だった場合は、メモリマップファイルを使用します。私が持っている

int blockSize = 32 * 1024; 
ByteBuffer bb = ByteBuffer.allocateDirect(blockSize); 
FileChannel out = new FileOutputStream("deleteme.dat").getChannel(); 
for (int i = 0; i < (1024 << 20); i += blockSize) { 
    bb.clear(); 
    while (bb.remaining() > 0) 
     if (out.write(bb) < 1) throw new AssertionError(); 
} 
out.close(); 

long start = System.nanoTime(); 
FileChannel in = new FileInputStream("deleteme.dat").getChannel(); 
MappedByteBuffer map = in.map(FileChannel.MapMode.READ_ONLY, 0, in.size()); 
in.close(); 
long end = System.nanoTime(); 
System.out.printf("Mapped file at a rate of %.1f MB/s%n", 
     1024 * 1e9/(end - start)); 

プリント

Mapped file at a rate of 589885.5 MB/s 

それだけで直接アプリケーションのメモリにOSのディスクキャッシュ内のデータをマップするため、これは非常に高速である（そう何のコピーが必要とされない）

Answer 2

C言語でこのコードを参照してください

#include <sys/types.h> 
#include <sys/stat.h> 
#include <unistd.h> 
#include <stdio.h> 

int main() 
{ 
    struct stat fi; 
    stat("/", &fi); 
    printf("%d\n", fi.st_blksize); 
    return 0; 
} 

最適なブロックサイズを返します。あなたはそうするためにそれを使う必要があります。最適なパフォーマンスを得るには、16 *ブロックサイズのストリームソースをデスティネーションに使用します。このテストでは、一部のハードウェア/ OSでアイドル状態のPCで最高の結果が得られるためです。しかし、実際のケースではありません。