zipにh5ファイルを追加してPySparkで使用する

Question

私はSparkアプリケーションにPySpark 1.6.1を使用しています。私は引数--py-filesを使ってロードしている追加のモジュールを持っています。また、ApolloNetを初期化するためにモジュールの1つからアクセスする必要があるh5ファイルもあります。

モジュールからそれらのファイルにアクセスできる方法はありますか？それらを同じアーカイブに置くとどうなりますか？私はこのアプローチを試みましたが、ファイルはすべての作業者には存在しないため、エラーが発生していました。ファイルを各作業員にコピーすることは考えられますが、それを行うより良い方法があるかどうかを知りたいのですが？

Answer 1

spark-submitで--files引数を使用すると、すべてのワーカーに追加のファイルを追加できることがわかりました。