2017-02-18 7 views
0

複数のcsvファイルから読み込んでキーと値のペアを生成するmap.pyファイルを持っている場合、どのようにこれらを私のreducer.pyに渡してローカルでテストしますか?マップをローカルでテストしコードを減らす方法は?

+0

は、Hadoopのをインストールstdoutに"<key>\t<value>"を書き、Hadoopのストリーミングに減速へのマッパーからデータを渡すには

cat *.csv | map.py | sort -k1,1 | reducer.py 

擬似モードで – BruceWayne

答えて

1

あなたはHadoopのストリーミングを使用している場合、あなたはこのようにローカルでスクリプトをテストすることができます。単に

+0

それは私が解決したものです。しかし代わりにsort -n – Shehryar

関連する問題