Hadoopのデータ抽出

Question

Hadoopにヒットし、ローカルのWindowsマシンにデータを抽出するプロセスを作成しようとしています。私は正常にODBCで作成し、接続をテストすることができました。さらに調査すると、Microsoft Hive ODBCを使用する必要があることがわかりましたが、接続のテストを成功させることができませんでした。私はさまざまなツールを使用していますが、私がしようとしていることを達成するための最良の方法についてのご意見をお待ちしています。私が探しているデータは、ftpサーバ上にも存在し、Hadoopにロードされているので、ftpサーバから取得できますが、Hadoopから取得します。私はHadoopにまったく新しいものです。私は調査して読んでいますが、解決策を見つけることはできませんでした。私は解決策があることを知っている、私はちょうど正しい場所で探していない、誰かが正しい方向に私を指すことができますか？

Answer 1

は私のローカルのWindowsマシンにHadoopのデータを抽出を打つ

最初の提案：私は成功したODBC上で作成し、接続をテストすることができました

Apacheのスパーク

HadoopはODBCを提供していません...ハイブは

さらに私は、ODBC

マイクロソフトハイブを使用するために必要なことがわかっ研究する

は、Azureの中にあなたのデータか？それは私が、私はあまりがあることを

を行うにしようとしています何を達成するための最良の方法にいくつかの入力をしたいと思い

を伝えることができる限り、あなたは、Microsoftのドライバを使用しているだろう唯一の理由です不明な点...これまでODBCでアクセスできないSQLツールをご紹介しました...

ハイブにデータを格納する場合、JDBC/ODBCは正常に動作しますが、 Hadoop内にあるYARNクラスター上で実行します。

私は、FTPサーバからそれを得ることができず、むしろHadoopの

個人的に

からそれを引っ張るだろう、私はあなたがより正確に（、Hadoopの

1. のHadoopからそれを得るお勧めしませんHDFS）がFTPの代わりではありません
2. ファイルがFTP内で正常に保存されるために「十分に小さい」場合、HDFSは大きなファイルを扱うように最適化されているため、HDFSに抽出する理由はほとんどありません。
3. あなたはhadoopの初心者です。あなたは簡単にFTPファイルを引き出すことができます。

第二の提案：あなたはHadoopのエコシステム内のツールを使用して設定し、死んで、明示的にHDFSは、GetFTP processor提供Apache Nifiプロジェクトを試していない場合。