DataFrameReaderはhiveContextでデータを読み込むより高速ですか？

DataFrameReaderはhiveContextでデータを読み込むよりも高速です。（hiveContext.sql（ "テーブルから、B、Cを選択）？DataFrameReaderはhiveContextでデータを読み込むより高速ですか？

hiveContextは、上記要求を満たすために、その下DataFrameReaderを使用する。それは、最適化されて以来、ハイブSQLを使用するために、その高速。

2017-01-18 17:20:45 TheM00s3

ありがとう、ありがとう....しかし、DataFrameReaderを使用すると、分割されたフォルダを直接読み取ることはできますか...ハイブSQLでフィルタを使用する代わりに、より速くなりますか？ –

@sahebbhattu今、混乱しています。 – TheM00s3

はい、私はハイブの外部テーブルを取得していて、それらはパーティション化されていますので、DataFrameReaderから直接取得することを考えています –

答えて