sparkr

-2熱

1答えて

現在、私はh2o.aiとSparkMLlibを使って機械学習ライブラリに関するアンケートを行っています。私はより多くのMLアルゴリズムがSparkMLlibと比較してh2o.aiライブラリによってサポートされていることを確認しました。スパークデータフレームのトレーニングとテストセットへの分割は難しいようです（スパークデータフレームをR/h2oデータフレームに変換する必要がありますまた、時間/リソー

0熱

1答えて

セッションIDのためにsparklyrにポート（8880）に接続中に失敗しました

エラー（コード）：セッションID（2044）のsparklyrポート（8880）に接続中に失敗しました：ポート8880のゲートウェイが応答しませんでした。パス：C：¥Users¥user1¥AppData¥Local¥rstudio¥spark¥Cache¥spark-1.6.2-bin-hadoop2.6¥bin¥spark-submit2.cmd パラメータ：--class、sparkly

1熱

1答えて

SparkRのH2Oを使用した列（h2o.merge）の結合

私の現在のプロジェクトでは、SparkRのH2Oマシン学習ライブラリを使用しています。私は複数の.csvファイルを持っており、h2oデータフレームを通してこれらの.csvファイルを読み込んでいます。さて、私はファイル上にh2o.merge()の機能をファイルに適用して、の1つのh2oデータフレームの主キーと別のh2oデータフレームの外部キーをマップしたいと思います。私の主なh2oデータフレームは1

0熱

1答えて

SparkRでのファイルの入手

私はSparkRアプリケーションを実行しています。私はSparkRを初期化するRスクリプトを持っています。私は通常のR言語で行うのと同じように、他のファイルに関数を使用する必要があります。私はソース（ "filename"）を呼び出すと、ファイルが見つかりません。ファイルを呼び出す方法は？

0熱

1答えて

sparkRのインストールはRのインストールに依存しますか？

SparkR（1.6および2.0）の最新バージョンについては、Rをインストールする必要がありますか？私がsparkRを実行するためにRが必要な場合は、CDHとsparkでYarnクラスタのすべてのデータノードにRをインストールする必要がありますか？

0熱

1答えて

Spark Rでjsonファイルの読み込みエラー

私はSparkRのチュートリアルに従おうとしています。私は必要に応じてセットアップに従います。しかし、すぐに、私は「read.json（パス）」機能を試してみて、私は次のエラーを取得する： "Error in invokeJava(isStatic = FALSE, objId$id, methodName, ...) : java.lang.reflect.InvocationTarg

1熱

1答えて

SparkRでデータフレームの各列の欠損値の数を数える方法は？

私は、まばたきのように見える1,150万行と1000個の数値列を含む2,5 GBのcsvファイルを処理しています。私は現在8GBのRAMを搭載した1コアVMでSparkを実行し、データは16のパーティションに分割されています。私は次のようなものを試してみましたが、それは年齢を取る： ldf <- dapplyCollect( df, function(df.partition)

0熱

1答えて

sparkR：火花EC2クラスタを開始した後ワーカーノードを

に機能番号を確認し、私は/ルートからsparkRを開始 $ ./spark/bin/sparkR を有する得られたメッセージの数行は、以下が挙げられる： 16/11/20 10:13:51 WARN SparkConf: SPARK_WORKER_INSTANCES was detected (set to '1'). This is deprecated in Spark 1.0+.

1熱

1答えて

SparkR - データフレームをベクター/リストに変換する

SparkRのリストにデータフレームを変換できるかどうかは誰にでも分かります。私はcollect（）関数がそれを行うのに役立つことを認識しています。ただし、大量のデータを使用する場合はお勧めできません。 Python/Scalaには、データフレームをリストに変換するローカルイテレータ（）という関数があります。 SparkRでそれに苦しんでいます。誰でも助けることができます！