Apache Sparkアプリケーションフレームワーク

Question

私たちはPySparkで小さなSparkアプリケーションをたくさん開発しています。問題は、すべてのプログラムが非常によく似た設定を必要とし、ディレクトリやそのようなものを作成するなどの一般的な作業を頻繁に行う必要があることです。多くの場合、アプリケーションは単にクエリを実行してCSVファイルに書き込むだけです。これらの種類のスクリプトを管理して各アプリケーションをロジックに集中させ、定型文に集中させるのではなく、誰かが良い方法を知っているのだろうかと思います。

Web開発では、一般的な作業を容易にするため、賢明なデフォルトを持つためにSpringを発明しました。 Sparkの世界では、シェルスクリプトを使用してSparkアプリケーションを実行しています。 pysparkアプリケーションのパッケージングにはベストプラクティスがありますか？ Sparkのドキュメントでは、メカニズムを説明するだけで、Sparkアプリケーションを書く日常的な使用方法ではありません。

Answer 1

Java、Scala、Pythonを使用しているApache Sparkでは、通常のプログラミングと異なり、デザインパターンを使用してコードを再利用できます。