2017-01-08 3 views
2

node-redからHDFS(Hadoop)にデータを送信するためのメカニズムが必要です。 私はデータをストリーミングする方が好きです。私は、 'websocket out'ノードを使ってデータを書き、Flumeエージェントを使って読むことを考えています。node-redからHadoopにデータを送信するにはどうすればよいですか?

ノードレッドの新機能です。

私が正しい方向にいるかどうかを知らせて、私がそうでない場合には詳細を明確にしてもらえますか?どのような代替アプローチも良いはずです。

更新:node-redは、IBM bluemixと排他的に結びついている 'bluemixhdfs'ノードを提供していますが、私はバニラのハープしか使用していません。

+0

@hardillb:私は質問を喚起しました。ありがとう。 – Marco99

+0

@Bhargav Rao:私は私のアプローチに関する具体的な情報で質問を更新しました。質問をコミュニティに回答させてください。ありがとう。 – Marco99

+0

@ Marco99、投稿が閉鎖されたと投票された質問(refst:http://stackoverflow.com/posts/41535206/timeline)の再開レビューが2回ありました。私はポストを改善するあなたの努力に感謝します。あなたは、「WebSocket out」ノードを使ってデータを書き込んでFlumeエージェントを使って読むことを考えています*。あなたの投稿を検討し、その試みをコードに追加することを検討します。私は今あなたのために投稿を再開しました。 –

答えて

1

私はHadoopのエキスパートではないので恐らく直接的な回答は得られません。しかし、カフカがウェブソケットをサポートしているように見えますが、これは合理的に実行可能でなければなりません。

アーキテクチャにもよりますが、websocketのセキュリティには注意が必要です。 NRとHadoopの両方がプライベートなセキュリティ保護されたネットワーク上にない限り、WebSocketは適切にセキュリティを確保するのが難しいかもしれません。

トランザクションごとのデータサイズが大きすぎない限り(Gbではなくkb)、websocketのパフォーマンスは妥当であると思います。 Node-REDのパフォーマンスに影響を与える要因が多すぎるため、必要なパフォーマンスが得られるかどうかを簡単に予測できるため、テストを行う必要があります。

Node-REDは非常に多くのタイプの接続性をサポートしているため、アーキテクチャではWebソケットが機能しない場合は、UNIXパイプ、TCPまたはUDP接続などの多くがあります。

関連する問題