データベースからデータを読み込んだ後、データを返してcsvファイルに書き出したいとします。どのようにマルチ処理を使用してそれを行うには?ファイルの書き込みと戻り値のPythonマルチ処理
def get_data():
data = get_data_from_database() #a dataframe
data.to_csv('data.csv', index=False) #step 1: write to csv file
return data #step 2: return data
手順1と手順2を行うにはマルチプロセスを使用するにはどうすればよいですか?
ような何かを行うことができますことを心配されていない場合。マルチプロセッシング(マルチスレッド)は通常、複数のプロセス(スレッド)によって同じタスクを実行しています。ここでは、パイプラインを使用することができます:process_reading_database-> process_writing_csv_and_passing data-> process_using_data –
ありがとうございました。 csvファイルを書き込むには時間がかかるので、ファイルを書き込んで返すプロセスを待つ必要はありません。私は同時にファイルを書いて、データを返すが、逐次プロセスではない。 – Chan
あなたはNode.js 'streaming'のようなものを探していますか? –