sparkr

0熱

1答えて

こんにちは、sparkRデータフレームに直接DBテーブルを読み込む方法があるかどうかを調べようとしています。私はそれに私のハイブのmetastoreを持っているEMRクラスタにインストールされているrstudioを持っています。私は、次の操作を行うことができます知っている： library(sparklyr) library(dplyr) sc <- spark_connect(master

1熱

1答えて

Rscriptとspark-submitを使ってRスクリプトを実行

Rscriptとspark-submitを使用してRファイルを実行することの違いを理解できません。ファイルでは、私はクラスタに接続するオプションを渡すので、spark-submitの使用の冒険は何か分かりません。私はスパークセッションを作成した後、Rプログラムの中で何 sparkR.session(master = "spark://...", appName = "test", sparkCo

0熱

1答えて

SparkRエラー：HDFS上のルートスクラッチディレクトリ：/ tmp/hiveは書き込み可能である必要があります

SparkRを初期化しようとしていますが、アクセス権エラーが発生しています。私のスパークバージョンはspark-2.2.1-bin-hadoop2.6です。私はこのエラーとそれを解決する方法を探し、いくつかの関連するトピックを見つけました。しかし、私はこれらのトピックと同じアプローチを使って解決することができません。その解決策は、次のコマンドを使用して、/ tmp/hiveディレクトリにパーミッシ

0熱

1答えて

共通のタグを持つすべての列をRで選択する方法は？

私は数百の列でSparkDataFrameを持っています。私はそれに単語 "時間"を持つものだけを選択したいと思います。代わりに、手動で列のすべての名前を書くこと、このような何かをすることの： df_selection <- SparkR::select(df, like('^time.*?')) があります： df_selection <- SparkR::select(df, "TRT_

1熱

1答えて

EMRクラスタでspark-submitまたはsparkRを使用してSparkRスクリプトを実行するにはどうすればよいですか？

私はsparkRコードを書いて、EMRクラスター上でspark-submitまたはsparkRを使用して送信できるかどうか疑問に思っています。は、私には、例えば、いくつかの方法を試してみました： Error in sparkR.sparkContext(master, appName, sparkHome, sparkConfigMap, : JVM is not ready after 10

1熱

1答えて

sparkdataframesでsparkRでdata.tableを使用できますか？

それは本当に速いですので、私はdata.tableの代わりに、plyrまたはsqldfでRstudio上で動作するように使用状況。さて、私は紺碧のクラスタでsparkRの作業をしています。私はsparkのデータフレームにdata.tableを使用できるかどうか、今はsqlより速いのですか？

1熱

1答えて

SparkRでのgrep使用時のエラー

私のSpark DataFrameのサブセット化に問題があります。 DataFramenfeといい、ITEM_PRODUTOという文字列でフォーマットされた列が含まれています。アイテム列に「AREIA」という単語が含まれているかどうかに基づいて、このDataFrameをサブセット化したいと思います。私は簡単に正確なフレーズに基づいてデータをサブセットすることができます nfe.subset1 <-

2熱

1答えて

SparkR（Spark 2.1.0または2.2.0）にMaxAbsScalerはありますか？

sparkには、StandardScaler、MinMaxScaler、MaxAbsScaler、scala、java、pythonがあります。 SparkにはR（SparkR）のようなメソッドがありますか？

0熱

1答えて

SparkRデータフレームをデータフレームのリストに分割する

sparkRが新しく、sparkRデータフレームを列に基づいてデータフレームのリストに分割しようとしています。データには、Sls_D(date), mdse_item_i(item id), co_loc_i(location id), traffic_ti_8_00, traffic_ti_9_00, traffic_ti_10_00, traffic_ti_11_00の10億レコードがありま