apache-spark-ml

0熱

1答えて

java.lang.NoSuchMethodError：breeze.linalg.tile $ .tile_DM_Impl2

私は、breezeを使用するスパークコードを持っています。 $ gradle dependencies | grep breeze | | +--- org.scalanlp:breeze_2.11:0.12 | | | +--- org.scalanlp:breeze-macros_2.11:0.12 +--- org.scalanlp:breeze_2.11:0.

-1熱

3答えて

予期しないキーワード引数 'k'がPCA（）にあります

PythonスクリプトでPySpark APIを使用してsparkアプリケーションからpcaを実行しようとしています。私はそれが良い結果を仕事と戻りpysparkシェルで、これら2つのコード行を実行したときに pca = PCA(k=3, inputCol="features", outputCol="pcaFeatures") PCAmodel = pca.fit(data) が、アプリケ

1熱

1答えて

どのようにorg.apache.spark.mllib.linalg.SparseVectorをorg.apache.spark.ml.linalg.SparseVectorへ変換するのですか？

どのようにを変換するか、 org.apache.spark.mllib.linalg.SparseVectorからorg.apache.spark.ml.linalg.SparseVector？コードをmllibからml apiに変換しています。 import org.apache.spark.mllib.linalg.{DenseVector, Vector} import org.apac

0熱

1答えて

Apache Sparkの多層パーセプトロンのネットワークアーキテクチャを選択するためのクロスバリデーションの使用

Apache Sparkの多層パーセプトロンに最適なアーキテクチャを決定しようとしていますが、クロスバリデーションを使用できるかどうかは疑問です。いくつかのコード： // define layers int[] layers = new int[] {784, 78, 35, 10}; int[] layers2 = new int[] {784, 28, 28, 10}; int[] l

0熱

1答えて

データフレームにpyspark.mlを使用するランダムフォレスト

データフレーム用のpyspark.mlライブラリ（RDDの場合はではなくmllib）を使用してランダムフォレストクラシファイアを構築しようとしています。ドキュメントに記載されているパイプラインを使用する必要がありますか？は、私はちょうど私のデータが180列と類似している私は、次のエラー Traceback (most recent call last): File "<stdin>"

0熱

1答えて

例外を取得するLscala/reflect/api/JavaUniverse $ JavaMirror;

私はこれに関するいくつかの調査を行いましたが、それはいくつかのバージョンの不一致によるものと思われます。私はかなりの時間からこの問題を解決しようとしており、その解決策を確認していません。どんな助けでも大歓迎です。このは私のpom.xmlある <properties> <scala.version>1.6.2</scala.version> </properties>

0熱

1答えて

UDF内でMLUtils.convertVectorColumnsToML（）を使用していますか？

私は列の1つとしてmllib.linalg.Vector（Doublesの）を持つデータセット/データフレームを持っています。このデータセットにml.linalg.Vectorタイプのこのデータセットに別の列を追加したいと思います（したがって、私はVectorsの両方のタイプがあります）。その理由は、私はいくつかのアルゴリズムを評価しており、そのうちのいくつかはmllibベクトルを期待し、一部はm

0熱

1答えて

PySparkアプリケーションは多くのpyspark-shellセッションを作成します

私はPythonを使ってSparkの作業を始めました。私はSparkML Linear Regression APIを使用するアプリケーションを開発中です。実行フェーズでYARNクラスタモードでジョブをサブミットすると、多くのpyspark-shellアプリケーションがユーザーとしてYARNで作成されます。私はYARNのUIでそれらを見ることができました。彼らは最終的に成功した状態で終了し、私が実

0熱

1答えて

エラーPyspark

にをランダムフォレスト分類子モデルを保存するには、私は、予期しないエラーを取得code.Butの上使用してモデルファイルを保存しようとしています - TypeError: save() takes exactly 2 arguments (3 given) 私はこのエラーを理解していません。私は2つの引数だけを渡していますが、まだこのエラーが発生しています。誰にも分かりませんか？私はこ

2熱

1答えて

Dataframeから既存のML VectorIndexerModelにデータを渡すときのエラー

私は、既存のモデルで予測するために使用したいDataframeを持っています。モデルの変換メソッドを使用するときにエラーが発生します。これは私がトレーニングデータを処理する方法です。 forecast.printSchema() 私のデータフレームのスキーマ：機能 assembler = VectorAssembler( inputCols=["rain_3h", "is_rain"