私は大きなcsvファイルを約5GB持っています。私はそれをヘッダー付きの小さなファイルに分割したいと思います。私はstackoverflowで与えられた例を試したが、PHPのメモリの限界は、完全に動作していないとまた、各ファイルにヘッダーを追加し、どのようにCSVのヘッダーを取得するdoesnt?PHPを使用して同じヘッダーで大きなcsvファイルを分割するにはどうすればよいですか?
-1
A
答えて
0
あなたは、次の手順に従います。
1) 最初のファイルは、あなたは、次のコマンドを使用して、次のcsvファイルに少ない行をコピーすることができ、ヘッダーが含まれている場合: のGet-コンテンツ「C:\ start.csv "|選択します。アウトファイル "C:\ stop.csv"
参照リンク:toSelectFirstFewLinesOfCSVFile
2)その後に応じてテーブルを作成します。
3))は、バルク・ロード用LOAD DATAのINFILEコマンドの(そのテーブルにCSVデータをロード
4)このため、シェル・スクリプトを作成し、より長い時間のために実行することができる、コマンドを介して実行するクエリを使用。
(注:あなたは、SETをセットでnet_read_timeout = 99999することができます; SET net_write_timeout = 99999;長いMySQLの接続のためのこれらの接続を。)
5)シェルスクリプトを呼び出します。
これは動作するはずです。
関連する問題
- 1. Pythonを使用して大きなcsvファイルを書き込むにはどうすればよいですか?
- 2. Scala Streamクラスを使用して大きなCSVファイルを読むにはどうすればよいですか?
- 3. pythonでヘッダーのない大きなCSVファイルをどのように分類するのですか?
- 4. 大きいcsvファイルを分割する
- 5. 大きなCSVファイルを扱うにはどうすればいいですか?
- 6. データウィーブにヘッダーのないCSVファイルを使用するにはどうすればよいですか?
- 7. 大きなcsvファイルを分割して各部分にヘッダーを保持
- 8. 大きなファイルを分割するにはどうすればよいですか?
- 9. PHPスクリプトを使用してCSVファイルをXMLに変換するにはどうすればよいですか?
- 10. PHPを使用して変数列をCSVファイルにエクスポートするにはどうすればよいですか?
- 11. PHPを使用してこの単語を分割するにはどうすればよいですか?
- 12. BOMを使用してPHPでUTF CSVファイルを読むにはどうすればよいですか?
- 13. Logstash Grokを使用してファイル名を分割するにはどうすればよいですか?
- 14. すべての列を同じように大きくするにはどうすればよいですか?
- 15. Javaを使用して大きなXMLファイルを解析するにはどうすればよいですか?
- 16. 同じtextViewで分割したスパンを設定するにはどうすればよいですか?
- 17. 大きなサービスファクトリ()を小さなコードブロックに分割するにはどうすればよいですか?
- 18. 大きなEcto.Queryをより細かく分割するにはどうすればいいですか?
- 19. PHPを使用して同じ文字列に分割する
- 20. クライアントコードを壊さずに大きなパッケージを分割するにはどうすればよいですか?
- 21. SAS-大きなデータセットを特定の要件で分割するにはどうすればよいですか?
- 22. 大きな画像を1つ使用し、それをウェブサイトの小さな部分に分割するにはどうすればよいですか?
- 23. 仮想プライベートサーバ上の4GBのCSVファイルをPHPで1GBのメモリしか使用できないようにするにはどうすればよいですか?
- 24. 大きなCSVファイルを複数のファイルに分割する
- 25. 大きなcsvファイルをPythonで分割する
- 26. UNIXのコマンドラインで大きなcsvファイルを分割する方法
- 27. シェルスクリプトを使用してxlsxファイルをcsvファイルに変換するにはどうすればよいですか?
- 28. pandasを使用して.csvファイルを.datファイルに変更するにはどうすればよいですか?
- 29. このCSVファイルを複数のコンテンツに分割するにはどうすればよいですか?
- 30. 大きな.CSVファイルで行を分割してデータベースにインポートする方法
CSVにはヘッダーが1つしかありません。そうでない場合は、無効なcsvデータがあります。したがって、ヘッダーが1つしかない場合は、ファイルを1行ずつ読み込み(fopen()、fread())、最初の行をヘッダーとして収集します。そして、次の行を読むのは新しいファイル(fwrite())に直接書きますが、収集されたヘッダを最初の行として忘れてはいけません。 X線が書き込まれている場合は、書き込み用に次のファイルを閉じて開きます。 fread()とfwrite()の使用のために、ここではメモリ制限はありません。 – JustOnUnderMillions