スパークタスクに新しいS3クライアントのインスタンスを作成します

Question

I持って自分のスパークアプリケーションで次の方法：

private def downloadChunk(sitemChunk : DataChunk) : String = { 

    val s3Client = new AmazonS3Client() 
    val fileName = s3Client.getObject(....) 

    fileName 
} 

それはスパークタスクで実行されますときS3からファイルをダウンロードし、基本的には、

val mydata = sc.parallelize(listOfChunks) 
mydata.map(x => downloadChunk(x)).collect 

私はs3Clientの新しいインスタンスを各タスクに作成しているのではないかと思いますが、より良い方法はありますか？

Answer 1

すべてのマッパーで新しいクライアントが必要です。これらのクライアントは異なるjvms（場合によっては異なるノード）で実行されるため、同じクライアントを再利用することはオプションではありません。

myData.mapPartitions { part => 
    val client = new AmazonS3Client 
    part.flatMap { chunk => client.getObject(...) } 
    } 

この方法では、あなたではなくRDDのすべての単一の要素の場合よりも、マッパーごとに一度クライアントを作成している：あなたは何ができるか

は.mapPartitionsを使用しています。