バケットから読み取るときのスパークパーティションの数 - S3 - GCS

Question

S3とGCSはHDFSと反対のブロックストレージではないので、Sparkがこれらのソースから読み取るときにパーティションを作成する方法はわかりません。 私は現在GCSから読んでいますが、小さなファイル（10バイト）には2つのパーティションがあり、中位のファイルには100 MBもあります。

説明はありますか？

Answer 1

一般に、設定オプションは「パーティションサイズについてどれだけ大きなものか」です。