Spring DataFlowを使用して自律型アプリケーションをデプロイする方法は？

Question

私のアプリケーションは、設定されたカフカからトピックを読み込み、変換された結果をHadoop HDFSに書き込むように設定されています。これを行うには、Yarnクラスターノードで起動する必要があります。

これを実行するには、Spring DataFlowを使用します。しかし、このアプリケーションは別のフローからの入力を必要としないので（ソースをどこで取得するかはすでに分かっています）、何も出力しません。どのようにして有効なDataFlowストリームを作成できますか？ つまり、これは1つのアプリケーションだけで構成されるストリームであり、これは糸のノードで無期限に実行する必要があります。

Answer 1

この場合、カフカの名前付きの宛先に接続してHDFSに書き込むストリーム定義が必要です。

例えば、ストリームは次のようになります。

stream create a1 --definition ":myKafkaTopic > hdfs"

あなたはこの詳細はhereを読むことができます。