大きなCSVファイル(7.3GB; 16,300,000行)がありますが、どのようにしてこのファイルを2つのファイルに分割できますか?大きなファイルを分割するにはどうすればよいですか?
6
A
答えて
16
split
コマンドを見ましたか?詳細については、this男性ページを参照してください。
このpageには、このコマンドの使用例が含まれています。別に
:
man -k
コマンドを使用すると、特定のコマンドが何であるかをかなり確実でない場合は、UNIX/Linuxのコマンドを見つけるためにかなり便利です。 man -kコマンドでキーワードを指定すると、システムは関連するコマンドを引き出します。例えば、
% man -k split
が得られます:
csplit (1) - split a file into sections determined by context lines
dirsplit (1) - splits directory into multiple with equal size
dpkg-split (1) - Debian package archive split/join tool
gpgsplit (1) - Split an OpenPGP message into packets
pnmsplit (1) - split a multi-image portable anymap into multiple single-image files
ppmtoyuvsplit (1) - convert a portable pixmap into 3 subsampled raw YUV files
split (1) - split a file into pieces
splitdiff (1) - separate out incremental patches
splitfont (1) - extract characters from an ISO-type font.
URI::Split (3pm) - Parse and compose URI strings
wcstok (3) - split wide-character string into tokens
yuvsplittoppm (1) - convert a Y- and a U- and a V-file into a portable pixmap
zipsplit (1) - split a zipfile into smaller zipfiles
1
分割-d -n 1/Nのfilename.csvのtempfile.partを。
は、ファイルを分割しないでN個のファイルに分割します。上記のコメントで述べたように、ヘッダーは各ファイルで繰り返されません。
関連する問題
- 1. 大きなサービスファクトリ()を小さなコードブロックに分割するにはどうすればよいですか?
- 2. 大きなEcto.Queryをより細かく分割するにはどうすればいいですか?
- 3. クライアントコードを壊さずに大きなパッケージを分割するにはどうすればよいですか?
- 4. SAS-大きなデータセットを特定の要件で分割するにはどうすればよいですか?
- 5. 大きなCSSファイルを分割するかどうか
- 6. 大きな「マクロ」クラスを分割するにはどうすればよいですか?
- 7. 巨大なWordPressマルチサイトデータベースを別々のMySQLデータベースに分割するにはどうすればよいですか?
- 8. WAVをより小さなWAVファイルに分割するにはどうすればよいですか?
- 9. HTML5ファイルを大きくするにはどうすればよいですか?
- 10. 大きなCSVファイルを扱うにはどうすればいいですか?
- 11. メモリよりも大きなファイルを分割するには?
- 12. 大きなXAMLファイルをサブXAMLファイルに分割し、親オブジェクトと子オブジェクト間の通信を維持するにはどうすればよいですか?
- 13. UITableViewでセクションを分割するにはどうすればよいですか?
- 14. アプリをモジュールに分割するにはどうすればよいですか?
- 15. ルーチンをスレッドに分割するにはどうすればよいですか?
- 16. app.moduleを小さなファイルに分割するにはどうすればよいですか?
- 17. kableがページ間で分割されないようにするにはどうすればいいですか?
- 18. 大きなファイルをUNIXで繰り返し分割するにはどうしたらいいですか?
- 19. 大きな画像を1つ使用し、それをウェブサイトの小さな部分に分割するにはどうすればよいですか?
- 20. 検証エラーメッセージを分割するにはどうすればよいですか?
- 21. Jquery.jsファイルを複数のファイルに分割するにはどうすればよいですか?
- 22. 1つのjsファイルを複数のjsファイルに分割するにはどうすればよいですか?
- 23. 大きいcsvファイルを分割する
- 24. 大きな数字をiOSで管理しやすい部分に分割するにはどうすればよいですか?
- 25. 大きなデータセットをインポートするにはどうすればよいですか?
- 26. javascriptで数字を小さな部分に分割するにはどうすればよいですか?
- 27. Java:大量のMouseListenersをピクセル/グリッド分割と比較するにはどうすればよいですか?
- 28. part vmdkファイルをより大きなディスクパーティションに移動するにはどうすればよいですか?
- 29. 値に大きな数値を割り当てるにはどうすればよいですか?
- 30. PHPを使用して同じヘッダーで大きなcsvファイルを分割するにはどうすればよいですか?
こんにちは、構文は正しいですか? ** split -lines = 5 1.csv ** – sprabhakaran
@spk:構文は正しいが、ファイルを3,260,000ファイルに分割する。より高い値を選択する必要があります.8,150,000以上16,300,000未満の2つのファイルが作成されます。 – Zeta
@spkと同様に、適切な値を選択すると、あなたが望むことができます。あなたがSOに求めてきました質問のいずれかがあなたの質問に正しい答えを提供した場合は、それらを受け入れる気軽に - http://meta.stackexchange.com/questions/5234/how-does-accepting-an-answer-work – Levon