scala

0熱

1答えて

DataFrameにcollectを呼び出すと、Array[Row]が返されます。しかし、その結果からDataFrameに戻ることが可能かどうか、あるいは一般的にはArray[Row]と思っています。例えば： import df.sparkSession.implicits._ newDF = rows.toDF()

1熱

1答えて

Eclipseでは動作しますが、JARでは動作しないsc.TextFile（ ""）

ハーフープクラスタに入るコードを作成していますが、その前にローカルファイルでローカルにテストします。コードは、Eclipseの素晴らしい取り組んでいるが、私は（スパークLIBなどとの）SBTを持つ巨大なJARを作ってるんだと、プログラムがtextFile(path)私のコードまで働いている： import org.apache.spark.{SparkConf, SparkContext} im

0熱

1答えて

var b：int = _はコンパイルエラーを返します

このコードを実行すると 1）var b：Int = _。その端末上で正常に動作していますしかし、IDEで実行すると、コンパイルエラーが発生します。ここに何か不足していますか？

0熱

1答えて

一致条件がsseで動作しない

jsonPath（または他のマッチャー）を使用しているときにチェックを実行できません。 messageを使用している場合、私はセッションで .check(wsAwait .within(6 seconds) .until(1) .message.exists //.jsonpJsonPath("$.data").exists .saveAs("CI

0熱

1答えて

データフレーム列のリストの列の種類を変更する方法

Spark 1.6.0でDataframeの列のリストの種類を変更しようとしています。以下のためにこれを行うのいずれかの効率的な、バッチ方法はあり val castedDF = filteredDf.columns.foldLeft(filteredDf)((filteredDf, c) => filteredDf.withColumn(c, col(c).cast("String"))) ：

1熱

1答えて

日付からのフィールドの抽出

日付フィールドが"MM/dd/yyyy"のデータフレームを文字列として持っており、新しいフィールドにはScalaの曜日の値を抽出したいと思います。私は次の出力を取得したいと思う df.show() ------------ date ----------- 12/14/2017 12/13/2017 ： ---------------------------------------

0熱

1答えて

Play 2.6 + Slick 3.xのエクスペリエンスとサンプル

経験豊富なScala/Playプログラマーにアドバイスをお願いします。私はPlay Framework 2.xをJavaで長年使用しています。今私はPlayのScalaバージョンがJavaよりもはるかに優れていると言われているように、ScalaバージョンのPlayを学びたいと思います。私は実際には言語そのものに感銘を受けました。私はScalaとPlayの関係を理解しています。しかし、Sca

2熱

1答えて

Databricks FileStoreからファイルを使用する方法

.datファイルをIPルックアップに使用しようとしています。ファイルには、ScalaのコードからDatabricksファイルストアにある： def getCountryCode(ip: String) { val filePath = "FileStore/maxmind/GeoIPCountry.dat" val ipLookups = new IpLookups(geoFi

0熱

2答えて

LocalDateTimeにタイムスタンプを解析するScala

私は、生年月日フィールドを持つユーザケースクラスのデータセットを持っています。私はこのデータをデータベースに入れたいのですが、日付は日付スタンプの形式で表されるので、LocalDateTimeを使って解析する方法はわかりません。ここは、私が持っている日付スタンプの例です： -631065600 885254400 48124800 -1007596800 は、そして、私はこのような何か