SparkRでデータフレームの転置/非回転を試みています。私はSparkRパッケージでデータフレームのアンピボットを達成するための直接的な方法はありません。また、includePackageメソッドを使用した後でも、SparkRデータフレームでRパッケージを使用することはできません。 SparkRやHiveのような他の選択肢を使用してピボット解除するための直接的な方法があるかどうかを誰かが私に知らせることができれば役に立ちます。sparkRデータフレームをアンピボットする方法は?
0
A
答えて
0
は、どちらも私は
ネイティブRコマンドはスパークデータフレーム上で実行されないSparkRのデータフレーム上のRパッケージを使用することはできませんよ。 Spark DataFramesで実行されるのはSparkコマンドだけです。 Spark DataFrameでRコマンドを実行する場合は、collect()を使用してR data.frameに変換できますが、分散処理の利点はありません。
Spark DataFrameは、リレーショナルデータベースのテーブルと同様の構成です。 Spark DataFrameでSparkコマンドを使用すると、クラスタ全体で分散処理の利点が得られます。
このような一般的な質問に答えるのは難しいです。通常、このフォーラムでは、データとコードで具体的な例を期待しています。一般に、リレーショナル・テーブルのピボットを解除する場合、最も基本的な方法は、行キーと1つの列を含む各問合せを、列内の非NULLに対してフィルタリングした一連の問合せを作成することです。その後、複数の結果をまとめて新しいDataFrameにします。
R言語の構文が望ましい場合、SparkRのunionAll(x、y)コマンドを使用してその結合を行うことができます。これはR data.frameのRコマンドと異なり、クラスタ全体で処理されます。
関連する問題
- 1. Tableauでテーブルをアンピボットする方法は?
- 2. SparkRでデータフレームを作成するには?
- 3. SparkRデータフレームは、私がsparkRデータフレームでこれをやりたい、一定値
- 4. HiveでSparkRデータフレームをロード
- 5. ストリームをピボット/アンピボットする方法
- 6. SparkR - データフレームをベクター/リストに変換する
- 7. sparkRデータフレームにないデータをフィルタリングする
- 8. SparkRでデータフレームの各列の欠損値の数を数える方法は?
- 9. SparkRデータフレームをデータフレームのリストに分割する
- 10. アンピボットは
- 11. SparkR 1.6.0でJDBCソースに書き込む方法は? SparkR 1.6.0で
- 12. SparkR gapply - 関数は、複数行のRのデータフレームを返す
- 13. 列名を使用してテーブルをアンピボットする方法
- 14. ローカルRデータフレームとSparkRデータフレームとRDDとの違いと相違
- 15. SparkRデータフレームで列の型をlongにdoubleに変更する方法はありますか?
- 16. Rのリストを要素とするSparkRデータフレーム
- 17. SparkRでfs.s3.awsAccessKeyIdとfs.s3.awsSecretAccessKeyを設定する方法は?
- 18. SparkRの各行に関数を適用する方法は?
- 19. UNPIVOT演算子を使用せずにテーブルをアンピボットする方法は?
- 20. はsparkR
- 21. アンピボット列のリスト
- 22. 差分、アンピボット
- 23. ピボット/アンピボットSQLクエリ
- 24. Jupyter + SparkRとカスタムRのインストール方法
- 25. 関数値を含む列をSparkRでデータフレームをSparkに追加
- 26. Sparkr DataframeをRコードに呼び出す方法は?
- 27. SparkRジョブを強制終了する方法
- 28. 「sql(sqlContext ...)」の解決方法はSparkRの警告です
- 29. レポートサービスをチャート内でアンピボットする
- 30. 他の場合(アンピボット)
SparkRデータフレームのピボットを解除しましたか? – devlace