2017-12-16 12 views
3

私はカフカを学んでいて、助言が必要です。kafka - pythonプログラムはhadoopクラスタの外でKafkaに接続できますか?

私は、ファイルを読み込んで、そのデータをプロデューサーとしてKafkaに書き込むPythonプログラムを作成したいと考えています。 KafkaはHadoopクラスタにセットアップされ、PythonはHadoopクラスタの外で実行されます。

外部から接続することはできますか? 私はPythonのKafkaライブラリをインストールする必要がありますか?どのようにインストールする必要がありますか? Pythonアプリケーションをローカルにすべてを持って、その後、開発者に、経由カフカに接続する適切なカフカのLIBSを使用して - カフカについての詳細を学ぶため

答えて

3

最も簡単な方法は、1つのドッキングウィンドウを実行する必要がありますhttp://landoop.com/docs/lenses/developers

を使用することですカフカのAPIやアプリを構築したら、それ

へのメッセージを生成 - あなたはそれをパッケージ化して、あなたのHadoopのカフカブローカー

+0

に対してそれを実行することができますが、返信いただきありがとうございます。私はkafka&pysparkで自分のキャリアを作ろうとしています。私はVM&今すぐカフカライブラリをインストールしました。さて、私はファイルを読み込み、それをkafkaに公開する小さなpythonプログラムを書いていきます。再びありがとう。 – Ravi

関連する問題