スパーク解析の前にFTPから大きなテキストファイルを読む

Question

私はスタンドアロンモードでスパークを実行しています（私たちのシステムには今後配布される予定です）。まず、このファイルをFTPからローカルのe.g c:\spark\analysis\bigfile.txtにコピーする必要があります。そのファイルを解析用のスパークで読み込むことができます。

私の質問は、どのようにメモリを使い果たすことなく効率的に大きなファイルをコピーできますか？ スパークすることは可能ですか？私はカフカのようなストリーミングライブラリを使うべきですか？

私はスパーク解析を完了した後、大きなファイルをftpサーバーに書き込むのと同じ方法です。

あなたが Bluezoneまたは端末エミュレータを接続する任意の他のエッジノードを使用して、簡単なシェルコマンドを使用することができ

Answer 1

：

cat bigfile.txt | ssh yourUserName@yourServer 'hdfs dfs -put - /pathTo/hdfs'

これは、しかし少し遅くなりますが、それは300ギガバイトのファイルのために私のために働きました。

注：ファイルがHadoopがインストールされていないサーバーにあったため、これを実行しました。 |

BLOCKQUOTE

wgetのftp://user:password@ftpserver/your_file：サーバーはHadoopのが、その後インストールされている場合は、単に標準入力経由hdfs dfs -put

Answer 2

パイプそれを試すことができますHadoopのfs -put - path_in_hdfs

BLOCKQUOTE

シングルは - HDFSは、標準入力からの読み込みを置くように指示します。