Apache SamzaでローカルシステムまたはHDFSからファイルを読み取る方法をお探しの場合 フィルタを適用し、条件を集計します。 。 何か助けてください。Apache Samzaのファイルをローカルファイルシステムとhdfsシステムから読み取る方法
1
A
答えて
0
使用するデータソースごとにシステムを作成する必要があります。たとえば、ファイルから読み込むには、FileReaderSystemFactoryを使用してシステムを作成し、HDFSの場合はHdfsSystemFactoryを使用してシステムを作成する必要があります。その後、通常のプロセスコールバックやウィンドウ処理を使用してデータを処理することができます。
0
標準のカフカプロデューサーを使用してSamzaジョブをフィードできます。あなたのために簡単にする。あなたが基本的なフィルタリングを行うことができます
- 入力ローカルファイルまたはHDFSなど
- ここフィルター(別売)、集約など
- カフカの出力を持つ:あなたLogstashを使用することができ、あなたが指定したLogstashスクリプトを作成する必要があります特定のトピックあなたは私がローカルファイルからを私samzaジョブを養うために、このアプローチを使用していた
入力
を送りたいです
もう1つのアプローチは、Kafka Connectを使用することです。 http://docs.confluent.io/2.0.0/connect/
関連する問題
- 1. リモートHDFSからファイルを読み取る
- 2. Apache SparkファイルをHDFSからストリームとして読み込みます
- 3. hdfsからファイルを読む方法
- 4. flink java apiを使ってディレクトリ下のファイル名(ローカルファイルシステム/ hdfs)を読む方法
- 5. PySparkのHDFSから* .XLSXファイルを読み取る
- 6. ローカルファイルシステムからHDFSに自動的にzipファイルをコピーする方法
- 7. 直接ファイルをHDFSから直接読み取る
- 8. テレグラムのボットにローカルファイルシステムを読み取る方法
- 9. JAVAを使用してHDFSからローカルファイルシステムにファイルをコピーする
- 10. clouderaのローカルファイルシステムからhadoop/hdfsにファイルをコピーできません
- 11. node.js内の別のシステムからファイルを読み取る
- 12. apache flumeを使用してtxtファイルからログを読み取る方法
- 13. Flumeを使用してローカルファイルシステムからHDFSにファイルをコピー
- 14. Linuxシステムでgolangのxlsファイルから値を読み取る
- 15. Apache Commons Configuration2 InputStreamからデータを読み取る方法
- 16. Apache MINAでソケットからバイナリデータを読み取る方法は?
- 17. Apache Camel:ファイルuriコンポーネントの整数プロパティを読み取る方法
- 18. HDFSからファイルを読み取ることができません
- 19. プロジェクトとは別のフォルダからファイルを読み取る方法
- 20. 各システムの複数のcrontabファイルから読み取るCron
- 21. Pythonを使用してHDFSディレクトリ内のファイルを読み取る方法
- 22. Linuxサーバーからgeolitecityファイルのパスを読み取る方法は?
- 23. apache spark:ディレクトリから大容量のファイルを読み取る
- 24. フォーマット済みのデータをファイルから読み取る方法は?
- 25. スパークストリーミングとApache flumeを通してHDFSにKafkaトピックを読み込む方法
- 26. ファイルからリストとintを読み取る方法は?
- 27. .CABファイルから_setup.xmlファイルの内容を読み取る方法
- 28. リモートサーバー上のJarファイルからファイルを読み取る方法
- 29. HDFSからのテキストファイルの読み取りと印刷
- 30. sparkのhdfsからのorc/parquetファイルの読み込み