Scala - ループ内のすべてのループの後にListBufferが空になる

Question

Scala ListBufferにループ内のいくつかのオブジェクトを追加しようとしていますが、追加するたびにループの次の繰り返しで消えます。追加した後ListBuffer（）

：

私は前に、新しいエントリを追加した後ListBufferの内容を印刷するとき、私は次の出力を得る：追加する前に

ListBuffer（com.me .FeatureV2 @ 20d953ba）

追加する前に：ListBuffer（）追加した後

：ListBuffer（com.me.FeatureV2@6b768ce7）

追加した後ListBuffer（）

：追加する前

ListBuffer（com.me.FeatureV2@123f42d5）

コード：機会に

def generateStatistics(df: DataFrame): List[FeatureV2] = { 
    var features = ListBuffer[FeatureV2]() 
    val dataColumn = "data" 
    for (field <- df.schema.fieldNames){ 
     val columnType: String = df.select(field).dtypes(0)._2 

     if (columnType == StringType.toString){ 
     val statsDf: DataFrame = getStats(df, field, dataColumn) 
     for (row <- statsDf){ 
      println("Before add: " + features) 
      val feature = new FeatureV2() 
      feature.element = row.getString(0) 
      feature.count = row.getLong(1) 
      feature.sum = row.getDouble(2) 
      feature.max = row.getDouble(3) 
      feature.min = row.getDouble(4) 
      feature.feature = field 
      features += feature 
      println("After add: " + features) 
     } 
     } 
    } 
    features.toList 
    } 

しかし、私は以下のようになります。

追加する前に

：ListBuffer（）

追加した後：ListBuffer（com.me.FeatureV2@1433183c）

追加する前に：ListBuffer（com.me.FeatureV2@1433183c）追加した後

：ListBuffer（com.me.FeatureV2@1433183c、 コム.me.FeatureV2 @ 4b0df9e5）

追加する前に：ListBuffer（）追加した後

：それは実際にpopulaがあるようListBuffer（com.me.FeatureV2@1e201b19）

これが見えますListBufferを呼び出していますが、クリアされています。ガベージコレクションとは何か？

Answer 1

for (row <- statsDf)をfor (row <- statsDf.collect())に変更してみてください。

これで問題が解決した場合は、foreachが1つ以上のスレッドで実行されていることが原因の可能性があります。

for (row <- stadsDf)はfがあなたのスパークマスターに応じて、スレッドや、任意の数のマシン上で実行される分散foreachで実際に呼び出すDataFrame.foreach(f: Row => Unit)、です。

Answer 2

Sparkアプリケーションは、ドライバとエグゼキュータで構成されています。ドライバからの制御と作成 - エグゼキュータは範囲内の変数のコピーを取得します。したがって、エグゼクティブはListBufferのコピーを入手します。それらはコピーに追加され、タスクが完了すると失われます。

collect()を使用して、ドライバにデータをプルしてListBufferに追加するか、ブロードキャスト変数を使用できます。

the documentationを参照してください。

Answer 3

は変更可能ですか？

また、Scalaを使用する場合は、FPを行う際に努力する必要があります。

df.schema.fieldNames.map {...} 

あなたが必要とする作業を行うでしょう。 ifを持っているので、collectがより適切になるでしょう。