Apache SparkがS3を読み込みます：thread.lockオブジェクトをpickleできません

Question

私はSpark AppにAmazon S3のテキストを読み込ませます。私はdata.collectを行うと、私は次のエラーを取得

import boto3 
s3_client = boto3.client('s3') 
text_keys = ["key1.txt", "key2.txt"] 
data = sc.parallelize(text_keys).flatMap(lambda key: s3_client.get_object(Bucket="my_bucket", Key=key)['Body'].read().decode('utf-8')) 

：

TypeError: can't pickle thread.lock objects 

を、私はオンライン任意のヘルプを見つけるように見えることはありません私は、次の単純なスクリプトを書きました。おそらく誰かが上記を解決することができましたか？

Answer 1

s3_clientはシリアル化できません。

フラットマップの代わりに、mapPartitionsを使用し、オーバーヘッドを避けるためにラムダ本体の中にs3_clientを初期化します。その意志：各ワーカー

上

1. のinit s3_client