Microsoft AzureでPysparkスクリプトを自動化する方法

Question

うまくいきたいと思います。

私はSparkとMicrosoft Azureの新人です。私たちのプロジェクト要件に従って、私たちはHDInsightクラスタにインストールされたjupyterノートブックを使ってpysparkスクリプトを開発しました。日付まで、私たちはjupyterからコードを実行しましたが、スクリプトを自動化する必要があります。 Azure Datafactoryを使用しようとしましたが、そこからpysparkスクリプトを実行する方法が見つかりませんでした。また、oozieを使用しようとしましたが、それを使用する方法を理解できませんでした。

私はあなたが青空のpysparkスクリプトを自動化/スケジュールする方法を教えてください。

ありがとう、 Shamik。

Answer 1

アズールデータファクトリーは今日、ファーストクラスのスパークをサポートしていません。私たちは将来、その統合を追加しようと努めています。その時点までに、ADFマップ・リダクション・アクティビティを使用してスパーク送信を呼び出すjarを送信するサンプルをGithubで公開しました。

ここを見てください： https://github.com/Azure/Azure-DataFactory/tree/master/Samples/Spark