InMemoryColumnarTableScanの機能は何ですか？

Question

Spark SQLクエリを実行し、Spark UIのDAGビジュアライゼーションを開始すると、表示される最初の手順はInMemoryColumnarTableScanと呼ばれます。

クエリを実行するたびにデータがディスクから読み込まれますか？

もしそうでなければ、このステップは何を正確に行いますか？

Answer 1

その名前が示すように、InMemoryColumnarTableScan classには、カラム圧縮技術を使用してメモリに格納されたテーブルを参照するメソッドが含まれています。

テーブルのより効率的なクエリのために、メモリ内のテーブルに格納されたデータの収集、キャッシュ、および統計情報の提供に使用されます。

これで、RDDに対してクエリを実行する最善の方法を見つけ出すエンジンが最初に呼び出されます。

実際のデータ読み込みとは関係ありません。