sparklyr

0熱

1答えて

HIVE UDFs（https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF#LanguageManualUDF-DateFunctions）からSparklyrまで適切にタイムスタンプを読み込もうとしています。任意のアイデア.. unix_timestamp('2011-03-01T00:00:04.226Z', '

0熱

2答えて

Sparklyr経由でローカルモードでSparkを実行するときにドライバメモリを設定するにはどうすればよいですか？

Sparklyrを使用して、244GBのRAMを搭載した仮想マシン上のローカルモードでSparkアプリケーションを実行しています。私のコードでは、spark_read_csv()を使用して〜50MBのcsvを1つのフォルダから読み込み、〜1.5GBのcsvを2番目のフォルダから読み込みます。私の問題は、2番目のフォルダを読み込もうとするとアプリケーションがエラーをスローすることです。私が理解して

0熱

1答えて

スパークリヤ分割文字列

私はいくつかの行のファイルを持っています。例えば A B C awer.ttp.net Code 554 abcd.ttp.net Code 747 asdf.ttp.net Part 554 xyz.ttp.net Part 747 のために私はテーブルのちょうど列Aを分割するステートメントでsparklyrライブラリを使用してRでスパークでコマンドをしたいと私は、新しい

0熱

1答えて

SparklyrでSparkに接続すると、許可が拒否されました。エラー

sparklyrパッケージをインストールした後、私はここに（http://spark.rstudio.com/）の指示に従ってsparkに接続しました。しかし、このエラーに直面した。私は間違ったことをしていますか？私を助けてください。ファイル内の sc = spark_connect(master = 'local') エラー（CON、 "R"）：さらに接続を開くことができません：警告メッセ

1熱

2答えて

sparklyr hdfsまたはハイブにデータを書き込む

sparklyrを使用してhdfsまたはハイブにデータを書き込もうとしましたが、方法を見つけることができませんでした。 sparklyrを使ってRデータフレームをhdfsやハイブに書き込むことも可能ですか？私のRとhadoopは2つの異なるサーバーで動作しているので、Rからリモートのhdfsに書き込む方法が必要です。よろしくラーフル

5熱

1答えて

Sparklyr - 小数点精度8私はspark_read_csvを使用してスパークに大きなデータベースをコピーしようとしているが、私は出力として、次のエラーを取得しています、最大精度7

を超えて： Error: org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 16.0 failed 4 times, most recent failure: Lost task 0.3 in stage 16.0 (TID 176, 10.1.2.235): java.lang.I

1熱

1答えて

ローカルデスクトップからのsparklyrを使用してhdfsに保存されたcsvファイルを読み取る

sparklyrで利用可能なspark_read_csv関数を使用して、HDFSに保存されたcsvファイルをロードしようとしています。 Rコードは、Windowsデスクトップ上で実行され、ジョブをサブミットして実行するために、ヤーンクライアントモードでリモート糸クラスターに接続するように構成されています。使用されているスパークのバージョンは1.6.0です。 spark 1.6.0はCSVをサポート

0熱

1答えて

特定の文字列に一致するすべての変数を置換するためのDplyr

これに相当するdplyrはありますか？私はデータフレーム tbl(sc,"df") %>% と上記の最初のスクリプトを貼り付けるスパークするRからのパイプ機能を使用してsparklyrコマンドを実行したいNAと文字列XXXに一致する「を置換すべて」 is.na(df) <- df=="xxx" 後です動作しません。おかげ

1熱

2答えて

S3バケットスローアップエラーへのスパークリア接続

RスパークリヤからS3バケットに接続しようとしています。ローカルファイルをsparkコンテキストに読み込むことができます。しかし、s3と接続しようとすると問題があるようですが、は大きなエラーのダンプをスローします。ここに使用されるコードのリストがあります。注：単一のs3バケットには同じスキーマに従う複数のcsvファイルがあります（）。 library(sparklyr) librar