Hadoopのhdfsのcatパイプedgenodeからhdfsへ

Question

私は、地元のedgenodeからパイプとしてhdfsにデータを送信しようとしています。目的は、エッジノードを通過してパイプに当たった外部サーバからのデータをシミュレートし、それをhdfsに格納することです。これが私たちの要求です。私は以下のコマンドを試しましたが、それは失速しているようです。

mkfifo my_pipe 
cat mysqlfile.sql my_pipe & cat pipe | hdfs dfs -put /user/bob/test.txt 

Answer 1

あなたcatもしそれがEOFまで待機するので、それがハングします名前付きパイプ。あなたが名前付きパイプ、猫とthis threadの尾に関するいくつかの有用な情報を見つけるでしょう

cat mysqlfile.sql | hadoop fs -put - /path/you/desire/file.txt 

：あなたはパイプを使用してこれを実行したい場合は

、多分あなたは次のように簡単なものを試してみてください。