apache-spark

0熱

1答えて

私は現在、DatabricksでPySparkを扱っています。文字列を切り捨てる方法を探していました。たとえば、DataFrame8841673_3のID列を8841673に変更したいとします。私はどのように進めるべきかを知っていますか？ regexp_extractと

2熱

2答えて

Spark - データフレームで定義されたルールを別のデータフレームに適用する方法

Spark 2でこのような問題を解決しようとしていますが、解決策が見つかりません。私はデータフレームを持っている： +----+-------+------+ |id |COUNTRY| MONTH| +----+-------+------+ | 1 | US | 1 | | 2 | FR | 1 | | 4 | DE | 1 | | 5 | DE | 2 | | 3 | DE

1熱

1答えて

SparkとJava 8でいくつかのカラムを取得してフィルタリングします

まあ、私は4列、ID、ユーザ、データ（文字列）と日付を持つtsvファイルを持っています。私がしたいのは、ユーザー、データ、日付を最短のデータから取得することです。だから私はこれを試みます。それと JavaSparkContext sparkContext = new JavaSparkContext(sparkConf); JavaRDD<String> lines = spark

0熱

1答えて

Apache SparkとScalaの並列実行時間と順次実行時間を測定するには

並列タスクと順次タスクの時間を確認したいと思います。あなたは私のコードを以下に見つけるでしょうが、並列タスクは連続した時間よりも時間がかかります。どうすれば解決できますか？私の主な目的は、Sparkコンテキストを使用して並列実行を達成することです： object PrlAndSeqCheck { def main(args: Array[String]): Unit = {

1熱

1答えて

flatMapGroupsWithStateを使用してステートフルアグリゲーションを行う方法は？

flatMapGroupsWithStateの適用中に次のエラーメッセージが表示されます。スレッド「メイン」org.apache.spark.sql.AnalysisExceptionで例外：更新モードでflatMapGroupsWithStateは、ストリーミングデータフレーム/データセットの集計ではサポートされていません。以下は私がやろうとしていることです。カフカから読むメッセージ& そ

0熱

1答えて

Apache Zeppelinを別のユーザーとして実行する

プロセスを開始したユーザーとは別のユーザーとしてZeppelinインタープリタを実行するにはどうすればよいですか？私は「ルート」としてツェッペリンを実行すると、次にあなたが現在やっているようツェッペリンを実行し続けるが、その管理者ユーザーとして別途スパーク・プロセスを開始することができ、「管理者」のユーザー

0熱

1答えて

Apache Spark Maven POMエラー

私はApache Sparkを試していて、ちょっとした問題があります。私はApache Spark GithubのJavaSparkHiveExample.javaの例と、IntelliJ IDEAのMavenプロジェクトとして作成したpom.xmlを持っています。 Scalaはアイデア Iにインストールされている：私は（別のシンプルなPOMを使用して）他のスパークの例を実行することができる午

0熱

1答えて

Sparkはネストされたケースクラスに直接データを読み込むことができますか？

CSVに3列、item、username、およびuseridがあるとします。その後dsはタイプDataset[Flat]のものであろう case class Flat(item: String, username: String, userid: String) ds = sparkSession.read.csv("path/to/data").toDF("item", "username",