fopen（）はファイルシステムによって制限されていますか？

Question

非常に大きなデータベースをすばやく埋めるための大きな.SQLファイルを生成するプログラムを作成しました。私はPHPでそれをスクリプト化しました。私がコーディングを始めたとき、私はfopen（）とfwrite（）を使っていました。ファイルが大きすぎると、プログラムはシェルに制御を返し、ファイルは不完全になります。

残念ながら、私は正確にどのくらいの大きさが「大きすぎますか」とは確信していません。私はそれが約4GBだったかもしれないと思う。

この問題を解決するには、ファイルechoをstdoutにしました。私はこのようにプログラムを呼び出したときにリダイレクトしました。

[root@localhost]$ php generatesql.php > myfile.sql 

これは魅力的でした。私の出力ファイルは約10GBになりました。

私の質問、そして、次のとおりです。のfopen（）とfwriteの（）は、彼らが生成することができるどのように大規模なファイルの面で、ファイルシステムによって制限されていますか？もしそうなら、これはPHPの制限ですか？これは他の言語でも起こりますか？

Answer 1

おそらく、基礎となるPHPビルドが32ビットでファイルポインタが4GBを超えるファイルを処理できない可能性があります - related questionを参照してください。

あなたの基礎となるOSは明らかに大きなファイルを格納することができます。なぜなら、stdoutを大きなファイルにリダイレクトできるのはなぜですか。

ちなみに、SQLファイルは圧縮率が高い可能性が高いので、ファイルを書き込むときにファイルを圧縮するには、gzip fopen wrapperを使用することを検討してください。

$file = 'compress.zlib:///path/to/my/file.sql.gz'; 
$f = fopen($file, 'wb'); 

    //just write as normal... 
    fwrite($f, 'CREATE TABLE foo (....)'); 

fclose($f); 

あなたのダンプは、元のサイズの一部になり、あなたは、単に、例えば、SQLクライアントにzcatからの出力をパイプそれを復元することができますMySQLの

zcat /path/to/my/file.sql.gz | mysql mydatabase 

Answer 2

はい、いいえ。ファイルシステムによっては、fopen（）またはfwrite（）が直接制限されているファイルではありません。ウィキペディアでComparison of filesystemsをご覧ください。

Answer 3

スクリプトの実行に時間がかかりすぎてタイムアウトになった可能性はありますか？

また、スクリプト内のメモリ制限に達している可能性はありますか？

Answer 4

ためあなたはストリームにデータの2GB以上を書くことができ、ファイルに（ファイルのfseek内部ポインタとしてPHPの制限を超えている、とストリームは、通常、シーク可能ではない）ではありません

<? $target = fopen('test.tar', 'w'); //this is a file, limited by php to 2GB $body = str_repeat("===", 1024 * 1024); while(true) fwrite($target, $test);

<? $target = popen('cat > test.tar', 'w'); //this is a stream, no limitation here $body = str_repeat("===", 1024 * 1024); while(true) fwrite($target, $test);