AzureのデータファクトリからADLストレージでU-SQLスクリプトを実行

Question

私のADLストアにUSQLスクリプトが保存されており、実行しようとしています。スクリプトファイルはかなり大きく、約250Mbです。

これまでのところ、私はデータファクトリを持っていました。リンクサービスを作成し、データレイクアナリティクスのU-SQLアクティビティを作成しようとしています。

私のU-SQL活動は次のようになりますためのコード：

{ 
"name": "RunUSQLScript1", 
"properties": { 
    "description": "Runs the USQL Script", 
    "activities": [ 
     { 
      "name": "DataLakeAnalyticsUSqlActivityTemplate", 
      "type": "DataLakeAnalyticsU-SQL", 
      "linkedServiceName": "AzureDataLakeStoreLinkedService", 

      "typeProperties": { 

       "scriptPath": "/Output/dynamic.usql", 
       "scriptLinkedService": "AzureDataLakeStoreLinkedService", 
       "degreeOfParallelism": 3, 
       "priority": 1000 
      }, 
      "policy": { 
       "concurrency": 1, 
       "executionPriorityOrder": "OldestFirst", 
       "retry": 3, 
       "timeout": "01:00:00" 
      }, 
      "scheduler": { 
       "frequency": "Day", 
       "interval": 1 
      } 
     } 
    ], 
    "start": "2017-05-02T00:00:00Z", 
    "end": "2017-05-02T00:00:00Z" 
} 

}

しかし、私は次のエラーを取得する：私が望む何

Error

Activity 'DataLakeAnalyticsUSqlActivityTemplate' from >pipeline 'RunUSQLScript1' has no output(s) and no schedule. Please add an >output dataset or define activity schedule.

は持っていることですこのアクティビティはオンデマンドで実行されます。つまり、私はスケジューリングをまったくスケジュールしたくありません。また、私の場合、入力と出力が何であるかもわかりません。私が実行しようとしているU-SQLスクリプトは、ADLストレージ上の何百万ものファイル上で動作しており、コンテンツの変更後に保存しています。

Answer 1

現在、ADQLはUSQLアクティビティに対してADLSに格納されているUSQLスクリプトの実行をサポートしていません。つまり、「typeProperties」の下の「scriptLinkedService」はAzure Blob Storage Linked Serviceでなければなりません。これをより明確にするため、USQLアクティビティのドキュメントを更新します。

ADLSに格納されている実行中のUSQLスクリプトのサポートは、弊社の製品バックログにありますが、まだコミットされていません。

シャーリー王

Answer 2

現在、ADFは、オンデマンドでの活動を実行してサポートしていないと、それは、スケジュールを設定する必要があります。アクティビティーのスケジュール実行を駆動するには、少なくとも1つの出力が必要です。出力は実際にデータを書き込むことなくダミーのAzure Storageにすることができますが、ADFは可用性プロパティを利用してスケジュールの実行を駆動します。例：

{ 
"name": "OutputDataset", 
"properties": { 
    "type": "AzureBlob", 
    "linkedServiceName": "AzureStorageLinkedService", 
    "typeProperties": { 
     "fileName": "dummyoutput.txt", 
     "folderPath": "adf/output", 
     "format": { 
      "type": "TextFormat", 
      "columnDelimiter": "\t" 
     } 
    }, 
    "availability": { 
     "frequency": "Day", 
     "interval": 1 
    } 
} 
}