scala

0熱

1答えて

SBTプロジェクトをオフライン環境で動作させる最善の方法は何ですか？外部（ネットワークenv内）でコンパイルするには、などのすべての依存関係を持つuber jarをコンパイルしてから、オフラインのenv を実行するだけです。私たちは、すべての依存関係を持つユーバージャーでそれをコンパイルできるJava Mavenの、に例えば、して、オフラインのenvでちょうどjava -jar MyJa

2熱

3答えて

スパーク：データセットシリアル化

Iは、データセットの場合のクラスとなっている各レコードを有し、そしてそのシリアル化が使用されているので、以下に示すように、私はそのデータセットを永続化する場合： myDS.persist(StorageLevel.MERORY_ONLY_SER) ないスパーク用のJava/KYROシリアライゼーションをしますデータセットをシリアル化しますか？またはデータフレームのように、Sparkにはデータセ

0熱

1答えて

avroスキーマを知らなくても、Avroエンコードされたkafkaメッセージをスカラーで読む方法は？

メッセージがAvroでエンコードされ、スキーマが動的に変更されたトピックからKafkaメッセージを読み込むには、ScalaまたはJavaクライアントを作成する必要があります。 Avroファイルとして記述することなく、これらのメッセージを読むための解決策を提案してください。

0熱

2答えて

Apache Sparkのデータフレームのメジアン値を見つけるには

私はApacheテーブルにDBテーブルをインポートしたところで問題を解決しています。私はそれをDataFrameに変換しました。次に、RegisterTempTableを実行して、ハイブクエリを使用できるようにしました。私はAmountと呼ばれるフィールドの中央値を見つけることができませんよしかし sqlContext.sql("select avg(Amount) from Table100

0熱

1答えて

spark datframe、scalaの行を列に変換する方法

データフレームの行を列に転記する方法はありますか。私は、入力としての構造を以下している：列に行を入れ替えるために利用可能な任意の最適化された直接のAPIがある場合 val inputDF = Seq(("pid1","enc1", "bat"),("pid1","enc2", ""),("pid1","enc3", ""),("pid3","enc1", "cat"),("pid3","enc2

1熱

1答えて

Slickストリーミングデータの変換とAkka Httpを使用したチャンクレスポンスの送信

目的は、データベースからデータをストリーミングし、このデータチャンクで何らかの計算を実行することです（この計算は、あるケースクラスの未来を返します）ユーザに提供する。現在、私はデータをストリーミングし、計算を実行せずに応答を送信できます。しかし、私はこの計算を実行できず、結果をストリーミングすることができません。これは私が実装したルートです。 def streamingDB1 = path("

0熱

2答えて

ストリームを反復する

私はScalaにとって新しく、範囲[i; j]の数値の素数を見つけなければなりません。 val stream = (i to j).toStream 、その後、私は素数を見つけることになって、この関数を呼び出す：例外なぜ私は取得していますストリームを出力 def findPrimes(s: Stream[Int]): Stream[Int] = { println("HEAD: "

0熱

1答えて

スカラーのジェネリック型の有無にかかわらずインスタンスを作成するのは何ですか？

私はここからクラス定義と2つの関数定義 class Queue[T] ( private val leading: List[T] private val trailing: List[T] ){} def a[T](xs: T*) = new Queue[T](xs.toList, Nil) def b[T](xs: T*) = new Queue(xs.toList

0熱

1答えて

リモートアクタをプログラムで作成すると動作しない

私はリモートのアクタアクタをプログラムで作成しています。以下はプログラムである - package remoting.programatic.demo import akka.actor.{ActorSystem, Props} import com.typesafe.config.ConfigFactory import remoting.config.demo.RemoteActor

0熱

1答えて

Spark - ArrayBufferがまだトラバースされていない要素を取得するように見える

MapPartition内のArrayBufferに、まだトラバースしていない要素があるように見えるのはなぜですか？例えば、このコードを見ると、最初の項目は1要素、2番目の2番目の要素、3番目の3番目の要素などが必要です。どのようにして、最初のArrayBuffer出力に9個の項目がある可能性がありますか？それは最初の出力の前に9回の反復があったことを暗示しているように見えるかもしれませんが、歩