紺碧のpythonで書かれたバッチジョブを提出

Question

紺碧のpythonで書かれたバッチジョブを提出する方法。私はこれに似ていますが、JavaではなくPythonで探しています。

curl -k --user "admin:mypassword1!" -v -H 'Content-Type: application/json' -X POST -d '{ "file":"wasb://mycontainer@mystorageaccount.blob.core.windows.net/data/SparkSimpleTest.jar", "className":"com.microsoft.spark.test.SimpleFile" }' "https://mysparkcluster.azurehdinsight.net/livy/batches" 

Answer 1

JavaとPythonのMapReduceジョブは異なります。

Java MapReduceプログラムは、ジョブがHadoop上で直接実行されるため、jarファイルをパッケージ化しました。

しかし、PythonのMapReduceのジョブがSTDINとSTDOUT経由でのHadoopストリーミングで実行されている2つのファイルmapper.pyとreducer.pyに分離しました。

文書http://www.michael-noll.com/tutorials/writing-an-hadoop-mapreduce-program-in-python/を参照して、マッパー&レデューサーpythonスクリプトをHDInsightにアップロードしてから、Hadoopで実行するジョブとしてシェルスクリプトを作成してください。