apache-spark

0熱

1答えて

スパークジョブ内からADLSで認証するためのユーザー資格情報を取得する方法はありますか？私は、スパーク・ジョブでユーザーがデータを読み取るために使用するライブラリを作成しようとしており、実装の詳細を隠したいと考えています。また、スパーク・ジョブからユーザーの資格情報を取得する最善の方法は何ですか？

3熱

1答えて

私は、テキストファイルに次の行を抱えているスパークのJava

を使用して： Some different lines.... Name : Praveen Age : 24 Contact : 1234567890 Location : India Some different lines.... Name : John Contact : 1234567890 Location : UK Some different lines.

1熱

1答えて

Eclipseでは動作しますが、JARでは動作しないsc.TextFile（ ""）

ハーフープクラスタに入るコードを作成していますが、その前にローカルファイルでローカルにテストします。コードは、Eclipseの素晴らしい取り組んでいるが、私は（スパークLIBなどとの）SBTを持つ巨大なJARを作ってるんだと、プログラムがtextFile(path)私のコードまで働いている： import org.apache.spark.{SparkConf, SparkContext} im

1熱

2答えて

IDEを使用しているリモートSparkクラスタでSparkアプリケーションを実行する際にエラーが発生する

私はKafkaからデータを読み込んで処理するSparkアプリケーションを持っています。 mavenコマンドを使用してファットジャーを作成し、コマンドmvn clean compile assembly:singleを作成すると、コマンドツール（No Yarn、スタンドアロンクラスタのみ）を使用してSparkリモートクラスタに正常に送信できます。今では、IntelliJ IDEからファットjar

0熱

1答えて

spark sqlのDate Partを使用して時間を掛けても同等の機能はありますか

SQLでDatePartの日付関数を実行しようとしていました。しかし、私はスパークSQLに変換しようとしています。日付部分機能を使用する時間は、下記のコードを参照してください。選択日付要素（時間、jou.creationTime）上記のコード行のSpark SQL内の任意の同等のコード？

0熱

1答えて

データフレーム列のリストの列の種類を変更する方法

Spark 1.6.0でDataframeの列のリストの種類を変更しようとしています。以下のためにこれを行うのいずれかの効率的な、バッチ方法はあり val castedDF = filteredDf.columns.foldLeft(filteredDf)((filteredDf, c) => filteredDf.withColumn(c, col(c).cast("String"))) ：

1熱

1答えて

日付からのフィールドの抽出

日付フィールドが"MM/dd/yyyy"のデータフレームを文字列として持っており、新しいフィールドにはScalaの曜日の値を抽出したいと思います。私は次の出力を取得したいと思う df.show() ------------ date ----------- 12/14/2017 12/13/2017 ： ---------------------------------------

2熱

1答えて

Databricks FileStoreからファイルを使用する方法

.datファイルをIPルックアップに使用しようとしています。ファイルには、ScalaのコードからDatabricksファイルストアにある： def getCountryCode(ip: String) { val filePath = "FileStore/maxmind/GeoIPCountry.dat" val ipLookups = new IpLookups(geoFi

0熱

1答えて

スパーク・スタンドアロン・クラスタ・チューニング

8コアと50GBのメモリ（シングルワーカー）を持つ単一ノード上で動作するスタンドアロン・クラスタ2.1.0を起動します。私たちは、以下のメモリ設定とクラスタモードでスパークアプリケーションを実行 - --driver-memory = 7GB (default - 1core is used) --worker-memory = 43GB (all remaining cores - 7 co

-1熱

1答えて

Javaを使用してリストを使用してJavaRDDをフィルタリングする方法

私はいくつかのjsonドキュメントを持つJavaRDDを持っていますが、JavaRDDをArrayList内のIDリストに基づいてフィルタリングしたいのですが、基本的には、 ArrayList内にあるID。私は、これはjsonがあなたのRDDの各行に保存されているどのようなもので、簡単にデータセットではなくJavaRDD高レベルの抜粋だ