sparklyr

5熱

1答えて

私はとsparklyrが2GB〜（5miライン）の.csvファイルを読み込むしようとしている： bigcsvspark <- spark_read_csv(sc, "bigtxt", "path", delimiter = "!", infer_schema = FALSE, memory = TRUE,

0熱

1答えて

sparklyr spark_applyユーザ定義関数のエラー

私はspark_applyの中にカスタムR関数を渡そうとしていますが、問題を抱え続けて、エラーの意味を理解できません。 library(sparklyr) sc <- spark_connect(master = "local") perf_df <- data.frame(predicted = c(5, 7, 20), actual = c(4, 6, 40))

1熱

1答えて

以上のコアを使用スパーク（Sparklyr）エラーは、私がローカルモードでSparklyrに以下の設定を使用しています

を開きます。これは正常に動作します conf <- spark_config() conf$`sparklyr.cores.local` <- 28 conf$`sparklyr.shell.driver-memory` <- "1000G" conf$spark.memory.fraction <- 0.9 sc <- spark_connect(master = "local",

1熱

1答えて

sparklyr：spark_apply関数がクラスタモードで動作していません

異なる行のデータフレームを2つ結合しました。 qpcRライブラリによってcbind.naの機能を使用して2つのデータフレームを結合しました。私のローカルマシンでは、spark_applyを正しく使用しているスパークリヤの結果が示されました。しかし、クラスタモードでは、以下のようにエラーが表示されます。注：単一データフレームは、クラスタとローカルの両方で結果を示します。 Error : Error

0熱

1答えて

SparklyRからSQL Serverにテーブルをロード

2017年10月現在、Sparklyr Spark Data FramesをSQL Serverに書き込むことは可能ですか？私はこのエラーを得た： > DBI::dbWriteTable(con, "DZ_test", for_test) Error in (function (classes, fdef, mtable) : unable to find an inherited

0熱

1答えて

sparklyrを使用してDataFramesのメモリ使用量を表示する方法は？

ローカルのR環境にあるオブジェクトのメモリ使用量を一覧表示するcode snippetと同様に、Spark接続で使用できるDataFramesのメモリを表示する同様のコマンドがありますか？例えば。 src_tbls(sc)と似たようなものは、現在はすべてのDataFramesのみを表示しますが、メモリ使用率は表示しません。

0熱

1答えて

mclapplyと私はフォーラムへのアクティブなユーザーとしては比較的新しいですが、私は何年以来の答えを探してきたので、あなたにすべての最初のあなたの貢献に感謝してい

をspark_read_parquet ... 今日、私は質問誰もそれを持っています... テストシステムの一部として、s3（AWS）からspark（ローカルコンピュータ）にファイルを並行して読み込もうとしています。 1つのコアは、それが失敗した多くのことを設定したとき、私は... mclapply使用しますが、している例：（2を使用した場合と同じコードが一つのコアを使用した場合に動作しますが、

0熱

1答えて

Spark（sparklyr）スタンドアロンモードを使用して寄木張りを書き込むことができません。DeprecatedRawLocalFileStatus

私はスタンドアロンモードでsparkを使用していて、sparklyrを使用してスパークにアクセスしています。私は常に次のエラーを取得するしかし temp_parquet <- tempfile(fileext = ".parquet") temp_parquet1 <- tempfile(fileext = ".parquet") spark_write_parquet(train, te

0熱

1答えて

opencpuは時間のかかるR関数の非同期呼び出しをサポートしていますか？

私は最近、スパークル可能性を利用したRパッケージを作成しました。私はopencpuからパッケージmain関数を呼び出し、すべてのデータをストリームとしてurlに引数として渡します。データストリームはスパークを介して分散的に分析され、いくつかの結果が得られます。私の唯一の問題は、実行部分を完了するのに多くの時間がかかることです。 opencpu.callとopencpu.rpcの両方で私のパッケー

0熱

1答えて

r sparklyr spark_applyエラー：org.apache.spark.sql.AnalysisException：参照 'id'が曖昧です

スパーククラスタでspark_applyを使用して、2つの列でグループ化されたデータのkmeansを計算しようとしています。データはHiveから照会され、次のようになります。 > samplog1 # Source: lazy query [?? x 6] # Database: spark_connection id time1 latitude longitud