私は、struts2フレームワークを使用しているJavaのWebアプリケーションでapache sparkを実装する最適なソリューションを見つけようとしました。apache spark implementation
ドライバと作業者用に使用する機械がほとんどありません。
私は多くのDB操作を実行するWebアプリケーションを持っており、hdfsを使用してsparkを実行したいと考えています。
ローカルの単一のスタンドアロンJavaプロジェクトでsparkを実行できますが、クラスタとして使用したいと思います。
私は非常に多くのスレッドとWeb上の情報を読んでいますが、私はアプリケーションで必要とされる膨大な処理がsparkによって行われるように、クラスタ上で実装する方法を見つけることができません。
私はClouderaのやAmazonのサービスなどの有料サービスを利用する状態ではないよ...
ここでは、マスターとスレーブでスパークの設置に関するステップバイステップガイドです。それはかなり包括的です：
http://data-flair.training/blogs/install-deploy-run-spark-2-x-multi-node-cluster-step-by-step-guide/
成功した場合、クラスタ全体が表示されますマスターに火花UIを見ることができるはずです。確かにセットアップは長いプロセスですが、 私自身はプロセスを経ていますので、具体的な質問があればお気軽にお問い合わせください。
アプリケーションは一度行って起動するspark-submitスクリプトを使用します。
./bin/spark-submit \
--class <main-class> \
--master <master-url> \
--deploy-mode <deploy-mode> \
--conf <key>=<value> \
... # other options
<application-jar> \
[application-arguments]
する
あなたを持っている[*]など地元の代わりにクラスタモードでアプリケーションを実行するためにマスターのURLを与えていることを確認してください見た[Hortonworksクラスタ]（https://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.3.2/bk_installing_manually_book/content/ch_getting_ready_chapter.html）？ – Raskayu