3

チーム、 現在、私はspring-xdに取り組んでおり、データ分析と糸ジョブの実行時コンテナとして使用しています。Springクラウドデータフロー - マイクロサービス展開

私の質問は、私は私が春-XDのために使用したのと同じ環境設定を活用することができます)

1ですか?
2)ドキュメントから、マイクロサービスとして配備できること、ストリーム処理に埋め込みドライバを使用していること、組み込みドライバを使用している場合は、同じインフラストラクチャをspring-xdに利用してクラスタ環境で展開することはできますか?
3)Apache Spark用に特別なラッパーが構築されていますか?

私の環境:スパーク1.6.1、Hadoopの2.7.2、飼育係3.6.8、Redisの3.2、春-XD-1.3.1

この特定のクエリ上の任意のヘルプは高く評価されるだろう。

答えて

3

spring-xdで使用したのと同じ環境設定を利用できますか?

春クラウドデータフロー(SCDF)spring-cloud-deployer SPIに依存しており、クラウドファウンドリーは、Apache YARN、ApacheのMesosとKubernetesのための実装があります。すでにYARNを使用しているHadoopクラスタを使用している場合、SCDFサーバのYARN implementationをプロビジョニングできます。

ストリーム処理に埋め込みドライバを使用していますか?

この意味が明確ではありません。 jdbc-driversを参照している場合は、具体的には、シンクアプリケーションとしてjdbcを使用する場合は、OSSに優しいドライバを組み込むことになります。

埋め込みドライバを使用している場合は、同じインフラストラクチャをspring-xdに使用してクラスタ環境で展開することはできますか?

これはおそらく#1の答えです。同じインフラストラクチャを活用し、Ambari pluginを使用してYARN SCDFサーバーをプロビジョニングできます。

Apache Spark用に特別なラッパーはありますか?

私たちはclientclusterのアプリケーションとしてスパークを持っています。タスク/バッチパイプラインを構築するには、SCDFでregisterを使用できます。

+0

、ありがとうございました!私は、スパークドライバとして組み込みドライバを意味し、これは実行時コンテナにデプロイすることができるスプリングブートと一緒に使用されています。このオプションが実現可能かどうかを確認し、参考にしていただければ幸いです。 –

+1

私はYARN上で小さなSparkテストアプリを実行するためのいくつかの指示を作成しました。 - https://gist.github.com/trisberg/79d50dc46c11c0fb7020c8ccc72d1234#running-a-spark-application-on-yarn-using-spring-cloud-data-flowを参照してください。 Googleでは、GAリリースの前にドキュメントの改善を進めていきます。 –

+0

@トーマスあなたのサンプルを見て、本当に役立ちました。また、Javaでいくつかの例を掲載してください。 –

関連する問題