C/C++のあるファイルから別のファイルにデータをコピーする最速の方法は？

Question

私のコードでは、あるファイルから別のファイルにデータをコピーする必要がある状況があります。解決策は、私はこのようなルックスを思い付いた：

const int BUF_SIZE = 1024; 
char buf[BUF_SIZE]; 

int left_to_copy = toCopy; 
while(left_to_copy > BUF_SIZE) 
{ 
    fread(buf, BUF_SIZE, 1, fin); 
    fwrite(buf, BUF_SIZE, 1, fout); 
    left_to_copy -= BUF_SIZE; 
} 

fread(buf, left_to_copy, 1, fin); 
fwrite(buf, left_to_copy, 1, fout); 

私の主な考えはmemcpyのようなものがあるかもしれないということでしたが、ファイル内のデータのために。私はそれに2つのファイルストリームと合計バイト数を与えます。私は少し捜したが、私はそのようなものを見つけることができなかった。

しかし、そのようなものが利用できない場合は、転送を最も速くするためにどのバッファサイズを使用する必要がありますか？システムコールの数が増えれば増えるだろうが、システム上の他のバッファリングやキャッシングを混乱させる可能性があると私は考えた。バッファを動的に割り当てて、読み込み/書き込み呼び出しのペアだけを取る必要がありますか？この場合の典型的な転送サイズは、数KBから数十MB程度です。

EDIT：OS固有の情報については、Linuxを使用しています。

EDIT2：

私はsendfileの使用してみましたが、それはうまくいきませんでした。それは正しい量のデータを書くように思えましたが、それはごみでした。

私はこのようなもので、上記の私の例を置き換える：

fflush(fin); 
fflush(fout); 
off_t offset = ftello64(fin); 
sendfile(fileno(fout), fileno(fin), &offset, toCopy); 
fseeko64(fin, offset, SEEK_SET); 

私はフラッシュ、offest、それが動作するようには見えなかったので、一度に一つを求めてを追加しました。

Answer 1

ことの一つは、あなたのバッファのサイズを増やしています。大きなファイルがある場合は、それが役に立ちます。

もう1つのことは、あなたのケースにあるかもしれない何でも、OSに直接呼び出すことです。いくつかのオーバーヘッドがありますfread()と​​

バッファリングされていないルーチンを使用し、独自の大きなバッファを提供できる場合は、パフォーマンスが大幅に向上することがあります。

完了したら、戻り値から書き込まれたバイト数をfread()から取得することをおすすめします。

Answer 2

ご希望のOSを教えてください。適切な呼（または最も適合する呼び出し）は、システム固有のものです。

Linux/* BSD/Macでは、カーネル空間でのコピーを処理するsendfile(2)を使用します。

形式

#include <sys/sendfile.h> 
ssize_t sendfile(int out_fd, int in_fd, off_t *offset, size_t count); 

DESCRIPTION

sendfile() copies data between one file descriptor and another. Because this 
copying is done within the kernel, sendfile() is more efficient than the 
combination of read(2) and write(2), which would require transferring data to 
and from user space. 

in_fd should be a file descriptor opened for reading and out_fd should be a 
descriptor opened for writing. 

さらにリーディング：

• Linux sendfile source
• あなたができるUnderstanding sendfile() and splice()
• “Server portion of sendfile example.”←例Cコード

Answer 3

ターゲットオペレーティングシステムのメモリマップファイルI/Oを検討する価値があります。あなたが話しているファイルサイズについては、これは実行可能な方法であり、OSはあなたができるよりも最適化されます。あなたがポータブルOSコードを書こうと思っているなら、これは最善の方法ではないかもしれません。

これはいくつかの設定が必要ですが、一度設定したら、ループコード&は基本的にmemcpyのように見えます。

Answer 4

速い読みは私が考える限り、ファイルのマッピングを選択することができます - mmap（mmapのマニュアルページを参照）を使ったメモリマップI/O。特に大きなファイルを処理する場合は、従来のI/Oと比較して効率的であると考えられます。

mmapは実際にファイルを読み取っていません。アドレス空間にマップするだけです。だからこそ速く、アドレス空間のその領域に実際にアクセスするまで、ディスクI/Oはありません。

ブロックサイズを最初に見ることができます。その場合、コンパイラは最適化を強化するため、効率的であると考えられます。