アプリケーションサーバーとしてsparkを使用しますか？

私たちは、Sparkを活用したい複雑な財務/ポートフォリオ分析を行っています。アプリケーションサーバーとしてsparkを使用しますか？

計算を実行し、データをSQLから取得する必要がある分離されたjarファイルをアプリケーションに提出するのではなく、アプリケーション全体をSparkドライバとして実行してSparkの結果メインアプリケーションからシームレスにアクセスできますか？

これはSparkの推奨使用ですか？このアプローチの潜在的な短所は何でしょうか？パフォーマンスやレイテンシの影響はありますか？

出典

2016-04-22 sturm

実行不可能で、スパークのために作られたものが無駄です。あなたはSpark Streamingを見なければなりません。あなたはSparkのデータをほぼリアルタイムで受け取ることができます。 –

@DavidGriffin、Spark StreamingとSparkは異なる目的を果たします。 OPのアプリケーションにSparkが必要な場合、なぜSpark Streamingを検討すべきですか？ – Aivean

それらの違いは、質問者が探しているもの、つまり、Appサーバーをバックエンドするために、Sparkにデータを迅速に出し入れできることです。それ以外の場合は、Sparkで行うのとまったく同じことをSpark Streamingで行うことができます。私はStreamingで 'DataFrames'を使用しています。私は' GraphX'を使用しています。私はSpark Streamingアプリケーションで 'GraphFrames'を使い始めました。これは、質問者が望むものを論理的に推薦するものです。 –

これはクラスタを所有していて、処理する必要がないときには保持しても構いません。

スパークコンテキストをプログラムで設定し、必要なだけ実行し続けることができます。

すべては、一定のリソースを使用している1つの長時間実行されるアプリケーションになります。心配する

物事：スパークが死亡した場合

、どのようにこれはあなたのサーバーに影響を与えるのだろうか？
ドライバのメモリが不足すると、サーバーがクラッシュします。

上記の回答がありましたら、私は根本的に何か間違ったことはありません。

出典

2016-04-22 02:41:27 marios

これは心配するいくつかのかなり大きなものです！ –

ああはい。しかし、彼らは彼らの周りの道です。私は個人的にはしません。私は物事を孤立させたい。 – marios

アプリケーションサーバーとしてsparkを使用しますか？

答えて

関連する問題