hdfsでシーケンシャルコードを実行しています

Question

現在、Hadoopを使って作業していることを知っています。ここには

現在の設定があります。私は、マッパーの入力データとして使用する.txtファイルを作成するために使用するシーケンシャルコードを持っています。私は現在、ローカルマシン上でこのシーケンシャルコード "preprocess.py"を実行していて、生成されたファイルをhdfsに移動していますが、生成されるファイルが多数あり、生成には多くの時間が必要です。

"preprocess.py"コードをhdfsにコピーしたのであれば、それを実行して、生成されたファイルを移動を要求する代わりにhdfs上に作成できるかどうかは疑問でした。明らかには動作しませんように

"hdfs dfs -python preprocess.py" 

を使用して

は、 "不明なコマンド" エラーを返します。あなたの時間をありがとう！

Answer 1

可能です。生成されたすべてのファイルをPythonコード内の単一のunix場所にプッシュするようにしてください。それらがそこにあると、subprocessモジュールを使用して、生成されたファイルをHDFSにシフトすることができます。コードでは、ファイルが転送されるまで待たなければなりません。また、同じファイルを再度コピーしないようにするには、HDFSの転送が成功した後でファイルを別々に命名してみてください（Hadoopエラーが発生します）。