StreamSets Data Collector(SDC)Webツールを使用して、私のローカルシステムからKafkaプロデューサを介してKafkaにデータを転送するパイプラインを作成しています。ただし、データを保存するトピックを最初に手動で作成する必要があります。 StreamSets経由でトピックを作成することは可能ですか?StreamSets Data Collector(SDC)を使用してカフカトピックを作成することは可能ですか?
1
A
答えて
0
デフォルトでは、Kafkaはトピックを自動作成するように設定されています。 num.partitions
をbroker configに設定すると、トピックあたりのパーティション数がデフォルト値の1
から変更されます。
パイプラインからトピックを作成する場合は、pipeline start eventからcreate a topicまでshell executorをトリガーできます。
ステージイベントからトピックを作成することはできません。データの後にこれらの呼び出しが宛先に送信され、パイプラインがデータの送信を開始する前にトピックを存在させたいからです。
+0
ありがとう!これは問題を解決しました。 – prachi
関連する問題
- 1. node.jsを使用してタイムドイベントを作成することは可能ですか
- 2. スパークストリーミング - カフカトピックの特定のパーティションを消費することは可能ですか?
- 3. UDC、Usage Data Collectorの代わりに使用しますか?
- 4. Android/data/data/your_package/filesの下にディレクトリを作成することは可能ですか?
- 5. MongoDBをバックエンドとして使用して単一のページアプリケーションを作成することは可能ですか?
- 6. pyafafkaを使用してカフカトピック作成時に複数のパーティションを作成する
- 7. SQL Server DBをスタンドアロンアプリとして使用するアプリケーションを作成することは可能ですか?
- 8. spring @Beanを使用してカフカトピックを作成していますか?
- 9. リダイレクトなしでワイルドカードを使用してサブドメインを作成することは可能ですか(Rフラグ)?
- 10. Tensorflowを使用して入出力マッピング用のニューラルネットワークを作成することは可能ですか?
- 11. Spring Data Pageableを使用したLDAPは可能ですか?
- 12. CMDでゲームを作成することは可能ですか?
- 13. Subversionでカスタムフックイベントを作成することは可能ですか?
- 14. scipy.weave.inlineでblitz ++のインデックス作成機能とブリッツ機能を使用することは可能ですか?
- 15. closedXMLを使用して右から左にExcelシートを作成することは可能ですか?
- 16. Angular 2 Routes - ngFor?を使用してルートからダイナミックなルータリンクを作成することは可能ですか?
- 17. EWSを使用して新しいメールアカウントを作成することは可能ですか?
- 18. スプリングインテグレーションを使用して並列呼び出しのリストを作成することは可能ですか
- 19. AmChartを使用して作成した棒グラフの列幅をカスタマイズすることは可能ですか
- 20. GACでアセンブリを使用してカスタムコンフィグセクションを作成することは可能ですか?
- 21. Tableauでlat.lonを使用してポリゴンを作成することは可能ですか?
- 22. スプリングセッションを使用して2つのセッションを1つのセッションで作成することは可能ですか
- 23. 電子メールフックを作成することは可能ですか?
- 24. カスタムToolBarItemを作成することは可能ですか
- 25. WinRTサービスを作成することは可能ですか
- 26. LinearLayoutsのGridVIewを作成することは可能ですか?
- 27. HashMapのキューを作成することは可能ですか?
- 28. ボーダーレスUWPアプリケーションを作成することは可能ですか?
- 29. Bazaarにサブブランチを作成することは可能ですか?
- 30. テキストフィールドを作成することは可能ですか?
トピック名、パーティション構成をどのように計算しますか? – metadaddy
実際にはStreamSets経由でトピックを作成することは可能です。 Kafka Producerを宛先とする新しいパイプラインを開始すると、Kafkaサーバー上にStreamSetsが存在しない場合、新しいトピックが自動的に作成されます。デフォルトでは、作成されるトピックには1つのパーティションしかありません。 StreamSetsで設定を指定することは可能ですか? – prachi