アプリケーションで埋め込みスパークを使用する際の短所

Question

私は、スパークレストジョブサーバーまたはカーネルに行くのではなく、アプリケーションサーバー内でローカルスパーク（埋め込み）を起動するというユースケースを持っています。前者（埋め込まれた火花）は他のものと比較して非常に低い待ち時間を有するからである。私は興味がある

• もしあればこのアプローチの欠点。
• 生産中でも同じことができますか？

P.S.低レイテンシが優先されます。

EDIT：ほとんどのケースで処理されるデータのサイズは100MB未満です。

Answer 1

私は欠点ではないと思います。 Sparkプロジェクト内でHive Thriftserverの実装を見ている場合は、Hive ServerプロセスのSQLContextなども管理します。データの量が少なく、ドライバが簡単に処理できる場合は、特にそうです。だから、私はこれをヒントとして見ることもできます。

しかし、私は、BigDataパイプラインの情報の背後には、インタラクティブな顧客対応のアプリケーションに火花を統合する方法の一般的な文書やアドバイスが欠けています。