Google Datalab）Google Cloud Storageに存在する複数のcsvファイルをpandas read_csv（）に読み込む方法は？

Question

私はDatalabに「シングル」CSVファイルを読み込むための解決策を見つけた：How can i load my csv from google dataLab to a pandas data frame?

しかし、私はDatalabで「複数」のCSVファイルを読み取ることができるか疑問に思います。私が試した何

は、このようなものです：

variable_list = ['IBM', 'SPY'] 
for variable in variable_list: 
    file_path = "gs://chois-trader-bucket/data/" + variable + ".csv" 
    %%storage read --object file_path --variable variable 

しかし、Pythonの変数は魔法のコマンドと互換性がないため、この1に失敗しました。

複数のcsvファイルを効果的に処理するにはどうすればよいですか？

Answer 1

変数を中括弧で囲んで使用できます。

e.g) %storage read --object {file_path} --variable variable 

Answer 2

また、あなたは（CSVファイルには、ヘッダーを想定していない）のようなbashで1つのライナーを使用して、フォルダ内のすべてのCSVファイルの結合を行うことができます。

cat *.csv > unioned_file_name.csv

その後1つのファイルをパンダにインポートします。