クローダのSQL SERVERからHDFSへのほぼリアルタイムのデータ取り込み

SQL Serverには5分ごとに更新されるPLCデータがあります。同じ時間間隔でクロウダ分布のHDFSにデータをプッシュする必要があります。これに使用できるツールはどれですか？クローダのSQL SERVERからHDFSへのほぼリアルタイムのデータ取り込み

出典

2017-08-10 Soz

PLCとHDFSは何ですか？ – ibubi

PLCはプログラマブルロジックコントローラの略です。 HDFSはhadoop分散ファイルシステムです。 –

この作業には、Confluent Kafkaを使用することをお勧めします（https://www.confluent.io/product/connectors/）。

アイデアは以下の通りである：

のSQLServer - > [JDBC-コネクタ] - >カフカ - > [HDFS-コネクタ] - > HDFS

これらのすべてのコネクタがすでに経由で利用可能ですがコンフルエントなウェブサイト。

出典

2017-08-10 10:51:37 leshkin

ありがとう..それを試してください。 – Soz

あなたのデータがローカルFSのいくつかのディレクトリに書き込まれていると仮定しています。この作業には、ストリーミングエンジンを使用することができます。 apache-sparkというタグが付いているので、私はあなたにSpark Streamingソリューションを提供します。

ストリーミングコンシューマは、構造化ストリーミングを使用して、データディレクトリを監視します。スパークストリーミングは、設定可能なマイクロバッチ（ストリーム待機時間）でデータを読み取り、処理します。これは、あなたのケースでは5分です。各マイクロバッチのデータを保存用のcloudera hadoopクラスタを使用するテキストファイルとして保存することができます。

これが役立ったかどうか教えてください。乾杯。

出典

2017-08-10 10:57:56

：ありがとうございました。私たちはSQL Serverからデータを読み込まなければなりません。データはFSにプッシュされません。この場合、ストリーミング・ヘルプを起動できますか？ – Soz

はいjdbcを使用すると、sparkの任意のデータソースから読み取ることができます。 –

sqoopという名前のツールをGoogleに送信できます。オープンソースのソフトウェアです。

出典

2017-08-10 15:49:52 Robin

私はSqoopをバッチ処理のように使いました。しかし、私はSQL Serverからリアルタイムでデータを取り込む必要があります。 – Soz

クローダのSQL SERVERからHDFSへのほぼリアルタイムのデータ取り込み

答えて

関連する問題