Massive azure wasp JSONフォルダ（450 GB）は、スパークに最適化された方法で読み込まれます。

Question

私はazure sparkでファイルを処理しました。ファイルの処理に時間がかかります。誰でもプロセスのタイミングを短縮するための最適な方法を提案してください。これで私のサンプルコードも添付しました。

// Azure container filesystem, it is contain source, destination, archive and result files 
val azureContainerFs = FileSystem.get(sc.hadoopConfiguration) 

// Read source file list 
val sourceFiles = azureContainerFs.listStatus(new Path("/"+sourcePath +"/"),new PathFilter { 
    override def accept(path: Path): Boolean = { 
    val name = path.getName 
    name.endsWith(".json") 
    } 
}).toList.par 


// Ingestion processing to each file 
for (sourceFile <- sourceFiles) { 


    // Tokenize file name from path 
    val sourceFileName = sourceFile.getPath.toString.substring(sourceFile.getPath.toString.lastIndexOf('/') + 1) 

    // Create a customer invoice DF from source json 
    val customerInvoiceDf = sqlContext.read.format("json").schema(schemaDf.schema).json("/"+sourcePath +"/"+sourceFileName).cache() 

ありがとうございました！

Answer 1

（あなたがコードの展開方法をマスター、スレーブの数、そのようなもの）