Sparkアプリケーションバリデーションのテストフレームワーク

Question

Sparkアプリケーションのフレームワークをテストする際に、あなたの提案や助けを募集しています。 私たちは、HDFSからの入力データを処理し、処理された出力データをHDFSにプッシュするスパークアプリケーションを持っています。我々は、このスパークアプリケーションのテストプロセスを自動化する予定です。

テストを自動化する方法や、sparkアプリケーション/ジョブをテストするためのフレームワークがあるかどうかについては、私は感謝しています。

-Sri

Answer 1

スパークコードは、任意の追加のスパーク関連のフレームワークなしに確認することができます。構成マスタを「ローカル」に設定するだけです。

val config = new SparkConf().setMaster("local") 

デフォルトでは、コンピュータファイルシステムがHDFSとして使用されています。そのようなアプローチは、通常のテストフレームワーク（ScalaTestなど）で動作します。

注：SparkContextは、すべてのテストでシングルトンとして宣言する必要があります。