2017-01-04 9 views
2

spark Dataframeでカウントするにはどのような方法が最適ですか?sparkデータフレームのカウントを取得する最良の方法は何ですか

1)私は1つのアクションを追加する数を試しました。私は追加のアクションを追加したくありません。

2)私はRDDにアキュムレータを使用しました。そのデータフレームをRDDに変換する必要があり、アキュムレータも正確ではありません。

スパークは成熟していて、他の方法はありません。私は、パフォーマンス/ランタイムに影響を与えずにカウントを得るための方法がなければならないと思います。

答えて

1

私は、アキュムレータとは別にアクションを加えないと別の方法はないと思います。アキュムレータを使用するにはrddに変換する必要があります。

関連する問題