Sparkの処理済みデータフレームレコードの最速の取得方法

Question

現在、データフレームを使用してハイブテーブルの特定の列を計算して集計するSparkアプリケーションを開発中です。

count()以外は、dataframes/rddの機能を使用します。処理されるレコードの数やデータフレームのレコード数を得るためには、より最適なアプローチがありますか？

特定の機能をオーバーライドするために必要なものがあるかどうかを知る必要があります。

すべての返信をいただければ幸いです。私は現在、Apache spark 1.6を使用しています。

ありがとうございます。

Answer 1

別にデータフレーム/ RDDのカウント（）関数を使用してから、レコードの数、処理またはレコードデータフレームの のカウント数を取得するためのより最適な アプローチがありますか？

いいえ。 RDDには、JDBCテーブルクエリやファイルスキャンなどの任意の複雑な実行計画がある可能性があるため、カウントに時間がかからないような方法はありません。