Scalaを使って位置ファイルを読み込む動的な方法

Question

以下のコードを静的に使用して位置/固定長ファイルを読み込むことができます。しかし、動的にする必要があります。ファイルとファイル名の位置を渡す必要があります。パラメータ。

val positionalFileReading = spark.read.textFile(inputFilePath).rdd 
    .map(l => (l.substring(0, 3).trim(), l.substring(3, 13).trim(), 
      l.substring(13,18).trim(), l.substring(18,22).trim()))  

ご協力いただきまして誠にありがとうございます。

Answer 1

まず、私はいくつかの点であなたの行を分割する方法を使用してお勧めします：

def splitAtLengths(row: String, lengths: List[Int], acc: List[String] = Nil): List[String] = lengths match { 
    case Nil => acc.reverse 
    case n :: ls => 
    val (first, rest) row.splitAt(n) 
    splitAtLengths(rest, ls, first :: acc) 
} 

これはあなたがあなたのmapに持っているものを置き換えるためにsplitAtLengths(l, List(3, 10, 5)).map(_.trim)を行うことができます。

さて、あなたは自分の機能に関連するパラメータを与えることがあります。

def positionalFileReading(inputFilePath: String, cellLengths: List[Int]) = spark.read.textFile(inputFilePath).rdd. 
    map(l => splitAtLengths(l, cellLengths).map(_.trim))