apache-spark

0熱

1答えて

2つの異なる地域にある2つのインスタンス間にSparkクラスタを作成しようとしています。同じVPC /セキュリティグループに所属していないので、ある地域から別の地域のスレーブにMasterを接続するのは問題です（その逆もあります）。これまでのところ私は、次のように行われている：両方のマスターとスレーブのパブリックIPを追加する編集/ etc/hostsファイルを 54.208.204.190 m

0熱

1答えて

行情報を列に変換する方法は？

I以下のスパーク2.2でデータフレームとスカラ2.11.8有する：G1とG2： df = sqlCtx.createDataFrame( [(560,9410,"web","G1",0,5), (290,1430,"web","G1",0,3), (470,1370,"web","G2",0,18), (290,1430,"web","G2",0,5),

1熱

1答えて

複数の回帰メトリックを同時に取得する

私は回帰の目的でMLパッケージを使用しています。私は自分のデータで良い結果を得ています。今、私はここに例によって提案されたものをやっていると私は今、一度に複数のメトリックを取得しようとしている：https://spark.apache.org/docs/2.1.0/ml-classification-regression.html 基本的には例のコードはこれです： val evaluator =

0熱

1答えて

パイプラインRDDをpysparkのDataframeに変換中にエラーが発生しました

以下のパイプライン化されたRDDをデータフレームに変換しようとしています。パイプラインRDD - > user_rdd ['new_user1', 'new_user2', 'Onlyknows', 'Icetea', '_coldcoffee_'] 私は、私は次のエラーを取得しています以下のコード schema = StructType([StructField('Username

-2熱

2答えて

の変換データ型/ Scalaの

は、私はそれが単一の単語が含まれているリストの配列がある scala> a res17: Array[org.apache.spark.sql.Row] = Array([0_42], [big], [baller], [bitch], [shoe] ..) 以下の通りですaと呼ばれるスカラ座での変数を持っています。私はシングルラップ配列の配列を作成しようとしていた理由は、私はword2ve

1熱

1答えて

SparkRでのgrep使用時のエラー

私のSpark DataFrameのサブセット化に問題があります。 DataFramenfeといい、ITEM_PRODUTOという文字列でフォーマットされた列が含まれています。アイテム列に「AREIA」という単語が含まれているかどうかに基づいて、このDataFrameをサブセット化したいと思います。私は簡単に正確なフレーズに基づいてデータをサブセットすることができます nfe.subset1 <-

1熱

1答えて

Spark CSV - 実際のパラメータに該当するコンストラクタ/メソッドが見つかりません

Javaスパークアプリケーションのフィルタと型付きデータセットのマップでラムダ関数を使用する際に問題があります。私は以下のクラスと火花2.2.0を使用しています。このランタイムエラーに ERROR CodeGenerator: failed to compile: org.codehaus.commons.compiler.CompileException: File 'generated.ja

-1熱

1答えて

データセットからケースクラスにマッピングするときのエラー

なぜこれが機能しないのかわかりません。私のケースクラスにマッピングするのではなく、タプルを返すだけでうまくいきます。それ以外の場合、私は以下のエラーが表示されます。 case class WinRate(name: String, played: Int, wins: Int, losses: Int) val winners = df.select($"winning_heroes").ma

1熱

1答えて

Zeppelinが「不一致の入力」で失敗するのはなぜですか？ <EOF> "％spark.sqlの段落で期待していますか？

私はcsvから寄木細工のファイルを作りました。 mismatched input ';' expecting <EOF>(line 1, pos 23) == SQL == DROP TABLE IF EXISTS df; -----------------------^^^ CREATE TABLE df ( date_time STRING , site_name S

0熱

2答えて

NNLSを非負多重線形回帰に使用するにはどうすればよいですか？

私はJavaで非負多重線形回帰問題を解こうとしています。そして、スカラーで記述されたソルバークラスorg.apache.spark.mllib.optimization.NNLSが見つかりました。しかし、私はこれを使う方法を知らない。私が混乱させる原因は、次の方法のインターフェイスが奇妙に思えることです。 AはMxN行列であり、bはMベクトルであり、引数ataとatbはそれぞれNxN行列とN