SparkのDataFrameはどのようなデータ構造ですか？

Question

これは前のquestionのフォローアップです。
は、キー値のペアの順序付けられたセットです。 DataFrameはRowsのコレクションです。
実際にはDataFrameというデータ構造は何ですか？リスト、セット、または他の「コレクション」ですか？それはSQLのようにrelationですか？

Answer 1

それはRDD[Row]以上の抽象化だ、またはSpark2でDataset[Row]、一連Columnクラス

を設定して定義されたスキーマでは、リスト、セット、または他の「コレクション」となっていますか？

Javaの言葉ではありません。 RDDとはまったく同じではなく、むしろ「遅延コレクション」

SQLと同様の関係ですか？

SparkSQLをDataframeで実行することはできますが、それはテーブルです。関係はオプションです

Answer 2

DataframeはRDDよりも抽象的ですが、Dataframeの内部表現はRDDとはまったく異なります。

RDDはJavaオブジェクトとして表され、すべての操作にJVMを使用します。ただし、Dataframeはタングステンで表されます。

ここには、データフレームがタングステンでどのように表現されているかを詳しく説明する優れたarticleがあります。