1
たとえば、ローカルディレクトリに500のCSVファイルがあり、これらの500ファイルのデータを操作し、各ファイルからデータを1つずつ読み込んで新しいCSVファイルに書きたいとします。私は、1つ以上のCSVファイルを読み込むために使用するPythonでパラメータグロブがあることを知っています。 Pythonスクリプトを使用して読むことができるCSVファイルの最大数に制限はありますか?CSVファイルの読み取り制限
たとえば、ローカルディレクトリに500のCSVファイルがあり、これらの500ファイルのデータを操作し、各ファイルからデータを1つずつ読み込んで新しいCSVファイルに書きたいとします。私は、1つ以上のCSVファイルを読み込むために使用するPythonでパラメータグロブがあることを知っています。 Pythonスクリプトを使用して読むことができるCSVファイルの最大数に制限はありますか?CSVファイルの読み取り制限
必要な数だけファイルを開いたり閉じたりできますが、開いているファイルの数には制限があります。 Linuxの場合は、ulimit -n 500
を使用して、同時に開くことができるファイルの数を500に拡張できます。詳細情報here
「パラメータグロブ」はありません。モジュール 'glob'があります。処理できるファイルの数に制限はありません。同時に開くことができるファイルの数には制限があります。一度にすべてのファイルを開いたり、不要になったときに閉じたりしないでください。 – DyZ
制限は約10,000なので、あなたはうまくいくはずです –
https://stackoverflow.com/questions/11675301/limitation-to-pythons-glob –