apache-spark

11熱

2答えて

Apache SparkでHadoop InputFormatsを使用するには？

私はHadoopにHDFSから画像を読み込むクラスImageInputFormatを持っています。 InputFormatをSparkで使用するには？は、ここに私のImageInputFormat次のとおりです。 SparkContext public class ImageInputFormat extends FileInputFormat<Text, ImageWritable> {

8熱

1答えて

スカラコードでスクロール例外をスローする

スカラとスパークを初めて使用しています。今日、私はいくつかのコードを書こうとしましたが、それはスパークで動作させましたが、例外がありました。ローカルScalaではこのコードの動作は import org.apache.commons.lang.time.StopWatch import org.apache.spark.{SparkConf, SparkContext} import sc

5熱

2答えて

Spark Streamingで無限のScalaストリームをソースとして使用するにはどうすればよいですか？

Stream.from(0)をInputDStreamとしたいとします。私はこれについてどうやって行くのですか？私が見ることができる唯一の方法は、StreamingContext#queueStreamを使用することですが、別のスレッドまたはサブクラスQueueから要素をエンキューして、無限ストリームのように動作するキューを作成する必要があります。これを行う正しい方法は何ですか？

5熱

2答えて

スパークPythonのパフォーマンス・チューニング

私は、以下のコマンドを使用してスパーク開発のためiPythonノートを育てた： ipython notebook --profile=pyspark そして、私はこのようなPythonコードを使用してsc SparkContext作成：私はしたい import sys import os os.environ["YARN_CONF_DIR"] = "/etc/hadoop/conf" s

5熱

2答えて

スパークRDDユニオンでは非常に遅い

spark SQLクエリに使用される2つのスパークRDD、dataRDDおよびnewPairDataRDDがあります。私のアプリケーションが起動すると、dataRDDが初期化されます。 1つの指定されたhbaseエンティティ内のすべてのデータがdataRDDに格納されます。クライアントのSQLクエリが来たら、私のAPPは新しい更新をすべて取得し、newPairDataRDDに挿入します。 da

10熱

1答えて

Spark MLlibに必要なorg.apache.spark.rdd.RDD [Array [Double]]をArray [Double]に変換する方法

KMeans using Apache Sparkを実装しようとしています。私は次のエラーを取得する val data = sc.textFile(irisDatasetString) val parsedData = data.map(_.split(',').map(_.toDouble)).cache() val clusters = KMeans.train(parsedData,3

9熱

2答えて

sbt - 公開中に特定の依存関係を除外する

Apache Spark 1.0,1.1,1.2のいずれかと一緒に使用できるユーティリティライブラリを構築しています。これらはすべてバイナリの下位互換性があるので、使用するスパークのバージョンを（私のライブラリとの依存関係として好ましいバージョンを手動でspark-coreに追加することによって）ユーザーに決定させ、図書館のPOMの制限。それ以外の場合は、依存関係の削除の警告をユーザに与えること

5熱

1答えて

REST Webサービスのコンテキストでsparkジョブを呼び出す方法は？

私は安らかなWebサービスでSpark SQLクエリを実行したいので、Jerseyコンテキストを介してSpark Contextを実行するにはどうすればよいですか？ Spark SQLリクエストをクラスタに渡し、その結果をREST API経由でユーザに返す必要があります。しかし、Spark Documentationsでは、jarファイルをクラスタ（マスター/スレーブ）に送信することなく、Java

7熱

3答えて

2つのSparkコンテキスト間でSpark RDDを共有するには？

私はRMIクラスタを持っています。各RMIサーバには、Sparkコンテキストがあります。異なるSparkコンテキスト間でRDDを共有する方法はありますか？

5熱

1答えて

jsonキー値とhive/sqlとsparkを読み取る

このjsonファイルをハイブテーブルに読み込もうとしていますが、ここではトップレベルキー1,2 ...は一貫していません。 { "1":"{\"time\":1421169633384,\"reading1\":130.875969,\"reading2\":227.138275}", "2":"{\"time\":1421169646476,\"reading1\":131.