pyspark

0熱

2答えて

ユーザーがツイートした回数を計算する必要があります。データはJSONファイルに格納されています。私はgroupByKeyとreduceByKeyを試しましたが、出力はユーザIDとツイート自体であり、ツイートの数ではありません。コード： from pyspark import SparkContext from pyspark.sql import SQLContext sc = Spark

1熱

2答えて

sqlContext.read.loadとsqlContext.read.textの違いは何ですか？

テキストファイルをpyspark RDDに読み込もうとしていますが、sqlContext.read.loadとsqlContext.read.textの間に大きな違いがあることに気づいています。 s3_single_file_inpath='s3a://bucket-name/file_name' indata = sqlContext.read.load(s3_single_file_inp

0熱

1答えて

PythonによるSparkストリーミング：特定の属性に関する2つのストリームの結合

私は、それぞれスキーマS1とS2を持つ2つのソケットストリームS1とS2を受け取りました。スパークストリーミングを使用して、属性 "a"に関してS1とS2を結合したいと思います。以下は私のコードです： sc = SparkContext("local[3]", "StreamJoin") ssc = StreamingContext(sc, 1) S1 = ssc.sock

1熱

1答えて

AWSデータパイプラインemrアクティビティステップセクションでカンマをエスケープする

aws Webコンソールに用意されているアーキテクトを使用してawsデータを作成しています。 emrclusterが設定され、正常に起動しました。しかし、私は次のような問題に遭遇EMRの活動を提出しようとしています： EMR活動のステップセクションで私の要件は限り3つのパッケージで--packages引数を提供することである。しかし私は解体性のステップがコンマの値が異なることを理解しており、c

-2熱

1答えて

Pyspark：ファイルテキストが分割された後に印刷できない

Python（pyspark）でコーディングを開始するのが初めてです。メッセージを}{に分割する必要があるtxtファイルがあります。メッセージは{...}{...}...で始まります。私は {...} {...} {...} 数もあり、内部メッセージ {... {...} ... } のようなコードにこれらを分割したい：私はコードの下にしようとしていますと私はというエ

2熱

1答えて

spark2-submits間でSparkクラスタを生かし続けるには？

spark2-submitを実行してpysparkスクリプトを介して入力ファイルを処理することによって、入力データファイルが到着したときに処理する必要があります。私が見てきたことは、すべてのspark2 - submitについて、sparkは最新の入力ファイルのデータ処理を行う前に多くの初期化を行うことです。その結果、遅延が生じます。どのようにしてspark2の提出物の間にSparkクラスターを生

0熱

1答えて

3つのDataFrameを1つのDataFrameに結合するにはどうすればよいですか？

私は1つの中で一緒に三つの異なるデータフレームに参加しようとしていますが、私はすべての3つに参加することに問題を抱えています。私は2つに参加することができました。にはどうすれば正しく3つのデータフレームに参加することができますか？ Pyspark：以下 1.6.0は私がこれまでに取り組んでいる： # EXPECTED OUTPUT: # -------file1.csv---------|-

0熱

2答えて

Tune Spark、大きなcsvファイルを読み込むためにエグゼキュータとメモリドライバを設定する

チューンナムを実行するための最良の設定を選択する方法がわかりますスパークジョブ。基本的には、大きなファイルcsvをDataFrameに読み込み、文字列の数を数えます。入力ファイルが500 GBを超えています。スパークジョブが遅すぎるようだ。.. ターミナルプログレスバー： [Stage1:=======> (4174 + 50)/18500] NumberCompletedTas