2016-11-19 12 views
1

私はapache kafkaとapache sparkを初めて使っています。カフカと私のangularjsコードを統合したい。基本的には、ユーザーがリンクをクリックするか、自分のウェブサイトで何かを検索すると、それらの検索とクリックがイベントとしてトリガーされ、分析の使用のためにkafkaデータパイプに送信されます。 私の質問は、angle.jsにあるフロントエンドコードをApache kafkaにどのように統合できますか? kafkaパイプラインを使用して検索とストリームデータをapache sparkに直接送信することはできますか、それらのデータをkafkaに送信する必要がありますか?sparkはkafkaサーバーにポーリングし、データをバッチで受信しますか?angular.js apache kafkaとの統合

答えて

0

フロントエンドJavaScript用のKafkaクライアントがあります(一見してもわかりません)。何百万というプロデューサー(各クライアントのブラウザ)が同じカフカの話題を書いているとき、私は実際に安定したセットアップを想像することはできません。 Angularで行う必要があることは、サーバー側の関数を呼び出してカフカにイベントを記録することです。 サーバー側のコードは、node.jsのJavaScriptを含む一連の言語で記述することができます。 利用可能なクライアントを見てくださいKafka Documentation

+0

node.jsのKafka-nodeが表示されますが、angular.jsのクライアントプラグインを探していました。 kafkaはスケーラブルなので、各クライアント(プロデューサ)が同じトピックに接続することを確認したかったのです。 –

+0

数百万のオープン/クローズド接続ではなく、持続可能なデータ入力ストリーム用に構築されたKafkaは、クライアント側の取得シナリオではどうなるでしょうか。あなたはこれのかなり簡単な実現可能性テストを準備することができます。結果は面白いだろう。 –

+0

したがって、基本的には方法はありません。angular.jsを使用してkafkaクライアントを実装できます。 angleからREST呼び出しをnode.jsのルートハンドラに送信する必要があります。このハンドラはカフカプロデューサとして動作します。 kafkaデータパイプラインを使用してデータを送信して消費者になるか、またはkafkaデータパイプラインを使用してデータをapache kafkaサーバーに送信するかどうかをapache sparkに送信しますか? –

関連する問題