sparkRデータフレームをアンピボットする方法は？

Question

SparkRでデータフレームの転置/非回転を試みています。私はSparkRパッケージでデータフレームのアンピボットを達成するための直接的な方法はありません。また、includePackageメソッドを使用した後でも、SparkRデータフレームでRパッケージを使用することはできません。 SparkRやHiveのような他の選択肢を使用してピボット解除するための直接的な方法があるかどうかを誰かが私に知らせることができれば役に立ちます。

Answer 1

は、どちらも私は

ネイティブRコマンドはスパークデータフレーム上で実行されないSparkRのデータフレーム上のRパッケージを使用することはできませんよ。 Spark DataFramesで実行されるのはSparkコマンドだけです。 Spark DataFrameでRコマンドを実行する場合は、collect（）を使用してR data.frameに変換できますが、分散処理の利点はありません。

Spark DataFrameは、リレーショナルデータベースのテーブルと同様の構成です。 Spark DataFrameでSparkコマンドを使用すると、クラスタ全体で分散処理の利点が得られます。

このような一般的な質問に答えるのは難しいです。通常、このフォーラムでは、データとコードで具体的な例を期待しています。一般に、リレーショナル・テーブルのピボットを解除する場合、最も基本的な方法は、行キーと1つの列を含む各問合せを、列内の非NULLに対してフィルタリングした一連の問合せを作成することです。その後、複数の結果をまとめて新しいDataFrameにします。

R言語の構文が望ましい場合、SparkRのunionAll（x、y）コマンドを使用してその結合を行うことができます。これはR data.frameのRコマンドと異なり、クラスタ全体で処理されます。