scala

0熱

1答えて

Spark Streaming Kafka Receivers API-numPartitions

私たちはspark-streaming-kafka-0-8レシーバを使用しています。 numPartitionsを増やしてイベントの消費量を増やすことはできません。 numPartitionsの増加はパフォーマンスに影響しないようです。 KafkaUtils.createStreamメソッドは、topic_nameからnumPartitionsまでのマップを持ちますが、各パーティションはそれぞれの

1熱

3答えて

スカラ：リストの再帰的集計

def sum(xs: List[Int]): Int = { if(xs.isEmpty) 0 else xs.head + sum(xs.tail) } 最後の行は誰でも説明できますか？中間結果はに保存されます。xs.head + sum（xs.tail）と、その後に追加する要素が1つありますか？

0熱

1答えて

エラー：メインクラスのスカラを見つけられませんでした。Ecllipse IDE

私のGitHubリポジトリを通してプロジェクトをクローンしました。実行しようとするたびには、エラーを与えている： <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apa

0熱

1答えて

Akka-http-session + cluster。可能？

私はakka-http-sessionを私の配布されたアプリに認証の事実を保存するために使用しています。私はいくつかの問題に気付きました。あるノードでセッション（ログイン）を作成すると、別のノードでそれを読み取ることができません（ユーザー情報は利用できません）。セッションは、クライアント側でクッキーとストアを介して送信されます。それはakka-http-sessionライブラリ機構ではなく、私の

0熱

2答えて

Apache Spark：成功率の問い合わせ

私はSQLとApache Sparkの学習を始めました。 Sparkの内部にSQLテーブルをインポートしました。今、「はい」にする必要があるフィールドに基づいて成功率を見つける必要があります。ので、私は「はい」として特定のフィールドを持っている行の数で割った行の合計数を見つける必要がある私は別に結果を見つけることができたが、これらの2つのクエリを結合する方法を知りませんでした。 sqlCon

0熱

1答えて

sbtコンソール - タブ補完

私はsbt 1.0.4を使用しています（この記事の最新時点）。sbt consoleを実行するとScala REPL（プロジェクトではScala 2.12.4が使用されています）が表示されます。コード補完を呼び出すキーボードコマンドとは何ですか？タブは私にとっては機能しません。タブ文字を追加するだけで、バックスペースは連続して壊れます。私はLinuxのBashからsbtを開始しています。 Ind

0熱

1答えて

Scalametaで文字列を持ち上げる

クラスを解析してCSV文字列に変換するメソッド 'toCSV'を挿入したいと思います。配列[文字列]：ヘッダ配列[配列[任意]：フィールドマイマクロ： class model extends scala.annotation.StaticAnnotation { inline def apply(defn: Any): Any = meta { defn match {

0熱

3答えて

スパークデータフレームの文字列から単語を抽出します。

テキストを含むスパークデータフレームの列があります。特殊文字'@'で始まるすべての単語を抽出し、そのテキスト列の各行からregexp_extractを使用しています。テキストに'@'で始まる複数の単語が含まれている場合は、最初のテキストのみが返されます。私はスパークのパターンに一致する複数の単語を抽出したいと考えています。 data_frame.withColumn("Names", rege

0熱

1答えて

データソース：com.databricks.spark.xmlの検索に失敗しました。パッケージはhttp://spark.apache.org/third-party-projects.html

でインストールされています。スパークがインストールされていないintellijプロジェクトを使用してSparkをロードしています。 val spark = SparkSession.builder().config(sparkConf).getOrCreate() はI`veは sparkConf.set("spark.driver.extraClassPath", "C:/.../spark