apache-spark-2.0

1熱

3答えて

事前ビルド済みのSpark 2.1.0は、spark-shellを起動するときにmetastore_dbフォルダとderby.logを作成します。

Spark 2.0.2からSpark 2.1.0にアップグレードしたばかりです（後でHadoop 2.7 &用に事前ビルドされたバージョンをダウンロードしています）。 Hiveはインストールされていません。スパークシェルの起動時に、metastore_db/フォルダとderby.logファイルが、警告ログ（以前のバージョンでは印刷されていない）と共に、起動場所に作成されます。デバッグログのクロ

2熱

1答えて

Apache SparkでのJaro-Winklerスコア計算

Apache Sparkの文字列間でJaro-Winklerの距離計算を実装する必要がありますDataset。私達はスパークするのが新しく、ウェブで検索した後、私たちはあまり見つけることができません。もしあなたが私たちを導くことができれば素晴らしいことでしょう。私たちはflatMapを使用すると考えていましたが、それは助けにならないことに気付きました。その後、foreachループのカップルを使用し

1熱

4答えて

スパークストリーミングアプリケーションを再起動する最善の方法は何ですか？

私は基本的に私のドライバプログラムにイベントコールバックを書いて、そのイベントの到着時にsparkストリーミングアプリケーションを再起動したいと思っています。私のドライバプログラムはファイルから構成を読み込んでストリームと実行ロジックを設定しています。ファイルが変更されるたびに（新しいコンフィグが追加された）ドライバプログラムがシーケンスの次のステップを行う必要があり、を再起動し、は（ma

0熱

1答えて

Spark 2.0 set jars

play-scalaアプリケーションで1.6からspark 2.0にアップグレードしていて、必要なjarファイルを設定する方法が不明です。以前はSparkConfが定義されていて、呼び出すことのできるメソッドの1つがsetJarsでした。これにより、私が望むすべてのjarファイルを指定することができました。今私はSparkSessionビルダーを使用してsparkのconfとsparkのコンテキス

0熱

1答えて

スパーク2.0 CSVエラー

1.6からスパーク2にアップグレード中で、CSVファイルの読み込みに問題があります。スパーク1.6では、このようなものをCSVファイルで読むことになります。ドキュメントに与えられたよう val df = sqlContext.read.format("com.databricks.spark.csv") .option("header", "true") .load(fileName) は

4熱

2答えて

Spra（scala）の配列[Array [Float]]にWrappedArray [WrappedArray [Float]]をキャストする方法

Im Spark 2.0を使用しています。私のデータフレームの列には、FloatのWrappedArraysのWrappedArrayが含まれています。行の例は次のようになります。 [[1.0 2.0 2.0][6.0 5.0 2.0][4.0 2.0 3.0]] イムArray[Array[Float]]にこの列を変換しようとしています。 dataframe.select("mycolu

0熱

1答えて

Spark 2のデータフレームでNone値を受け入れる方法を教えてください。

私のようなスキーマに何か持っている - val schema = StructType(Seq ( StructField("a", StringType, true), StructField("b", StringType, true), StructField("c", StringType, true) )) and making a dataframe like - imp

2熱

1答えて

Spark 2.0の複数インスタンスを一度に（複数のJupyterノートブックで）実行するにはどうすればよいですか？

私はJupyter NotebookでSparkを使うのに便利なスクリプトを用意しています。これは、私が2番目のノートブックで（たとえば、いくつかのスクラッチ作業をテストするために）sparkコマンドを実行する場合を除いて、素晴らしいです。私は非常に長いエラーメッセージにあるように思われたのキーパーツを入手： Py4JJavaError: An error occurred while call

1熱

1答えて

トピックがありませんml.clustering.LocalLDAModelの分布（..）メソッド

トピックモデリング（オンラインオプティマイザを使用）のorg.apache.spark.ml.clustering.LDAをに使用しており、org.apache.spark.ml.clustering.LocalLDAModelを返します。しかし、このモデルを使用して、は、ドキュメント上のトピックの配布を取得する方法とは思われません。古いmllib API（org.apache.spark.m

2熱

1答えて

タイプAnyのスキーマはサポートされていません

私はユーザー定義のケースクラスから（キー、値）ペアのマップを抽出するためにスパークUDFを作成しようとしています。 scala関数は正常に動作しているようですが、spark2.0のUDFに変換しようとすると、「Any型のスキーマはサポートされていません」というエラーが発生しています。 case class myType(c1: String, c2: Int) def getCaseClassP