Spark Runnerを使用したApache Beam Pivotal Cloud Foundryへのデプロイ

Question

Spark Runtimeエンジンを使用してApache Beamアプリケーションをデプロイする必要があります。私の質問は、Pivo​​tal Cloud Foundry環境にSparkアプリケーションを導入できるかどうかです。可能であれば、例を挙げてください。

ありがとうございました

Answer 1

はい、Cloud FoundryはApache Sparkアプリケーションを実行できます。 CFは、永続的なボリュームをマウントし、Sparkクラスタ自体のコンテナネットワークを管理し、異なる種類のコンピューティングノードに分離セグメントを提供する機能を備えています（例えば、Sparkアプリケーションに適した高性能ネットワークを持つサブクラスタ汎用アプリ）。

SparkにフィードしたりSparkから出力したいデータのために、CF以外のバッキングストアが必要です。

クラウドファウンドリーは、ステートレスですが、今日のSpring Cloud Data Flowのようなワークロードを実行することは可能です。これはApache Sparkと非常によく似ていますが、 Hadoop、Hadoop、通常のRDBMS、Kafka/Redis/RabbitMQ、FTPサーバ、クラウドサービスなど、あなたが本当に必要とするものは何でも。

ここにリンクがあります。あなたはそれらを参照できます。

How to leverage Pivotal Cloud Foundry, Pivotal HD, Apache Spark and EMC ECS to analyze Twitter data

Spark on Cloud Foundry