クラスタをスピンアップしているときに、アクセス可能なデータレイクからブロブストレージにファイルをコピーしようとしています。 //data_lake_store_account.azuredatalakestore.net：443/myfolderなどのwasb：//[email protected]_account_name.blob.core.windows.net/example/dataazure HDInsightスクリプトアクション
私はAzureのドキュメント
のHadoop distcpのADLから、このコマンドを使用しています/ gutenberg
ハードコーディングの代わりにこれを自動化しようとしている場合、これをスクリプトアクションでどのように使用するのですか。具体的には、クラスタをスピンアップする際に、どのようにコンテナ名とstorage_account_nameを動的に取得することができますか。
以下のようにまず、
Aスクリプトアクションは、単にあなたがにURIを提供bashスクリプトで、のパラメータ。このスクリプトは、HDInsightクラスタ内のノードで実行されます。
したがって、スクリプトチュートリアルScript action development with HDInsightを参照するだけで、スクリプトアクションを記述して実行する方法がわかります。または、REST API Run Script Actions on a running cluster (Linux cluster only)を呼び出して自動的に実行することもできます。動的コンテナ名&ストレージアカウントを取得する方法を、任意の言語のための方法は、JSON応答にcore-siteから希望のREST API Get configurationsを呼び出して、あなたの財産を抽出することである、またはちょうどGet configuration REST APIを呼び出すためには
パラメーターcore-siteをURLに{configuration Type}とし、JSON応答から必要なプロパティーを抽出します。
希望します。
ありがとうございました。ここに私がしようとしているものがあります。私はポータルを使ってクラスタを作成しました。今では、ヘッドノードで実行するためにシェルファイルをアップロードしているときに、スクリプトアクションが失敗しています。このスクリプトの目的は、データレーキからtarファイルをダウンロードすることです。だから私はそれを試してみたかったし、単一行のシェルファイル（mkdirのテスト）を書いた、このスクリプトでも失敗しています。私はここで何をしていますか？ – kmk1
@ kmk1私はあなたがこのスレッドhttp://stackoverflow.com/questions/43142391/script-action-to-install-spark-job-server-on-hdinsight-head-nodeについて話していたと思います。それはあなたのようです。 –