「DataLakeAnalyticsU-SQL」アクティビティを使用してU-SQLスクリプトをスケジュールするために、晴れのあるデータファクトリを作成しました。私が正常に必要なすべてのリンクされたサービスを作成しました入力データセットが機能しない
InputDataset
{
"name": "InputDataLakeTable",
"properties": {
"published": false,
"type": "AzureDataLakeStore",
"linkedServiceName": "LinkedServiceSource",
"typeProperties": {
"fileName": "SearchLog.txt",
"folderPath": "demo/",
"format": {
"type": "TextFormat",
"rowDelimiter": "\n",
"columnDelimiter": "|",
"quoteChar": "\""
}
},
"availability": {
"frequency": "Hour",
"interval": 1
}
}
}
OutputDataset:
{
"name": "OutputDataLakeTable",
"properties": {
"published": false,
"type": "AzureDataLakeStore",
"linkedServiceName": "LinkedServiceDestination",
"typeProperties": {
"folderPath": "scripts/"
},
"availability": {
"frequency": "Hour",
"interval": 1
}
}
}
Pipeline:
{
"name": "ComputeEventsByRegionPipeline",
"properties": {
"description": "This is a pipeline to compute events for en-gb locale and date less than 2012/02/19.",
"activities": [
{
"type": "DataLakeAnalyticsU-SQL",
"typeProperties": {
"scriptPath": "scripts\\SearchLogProcessing.txt",
"degreeOfParallelism": 3,
"priority": 100,
"parameters": {
"in": "/demo/SearchLog.txt",
"out": "/scripts/Result.txt"
}
},
"inputs": [
{
"name": "InputDataLakeTable"
}
],
"outputs": [
{
"name": "OutputDataLakeTable"
}
],
"policy": {
"timeout": "06:00:00",
"concurrency": 1,
"executionPriorityOrder": "NewestFirst",
"retry": 1
},
"scheduler": {
"frequency": "Hour",
"interval": 1
},
"name": "CopybyU-SQL",
"linkedServiceName": "AzureDataLakeAnalyticsLinkedService"
}
],
"start": "2016-12-21T17:44:13.557Z",
"end": "2016-12-22T17:44:13.557Z",
"isPaused": false,
"hubName": "denojaidbfactory_hub",
"pipelineMode": "Scheduled"
}
}
:以下のコードを参照してください。 しかし、パイプラインを展開した後は、入力データセットに対してタイムスライスが作成されません。下の図を参照してください。
出力データセットでは、アップストリーム入力データセットのタイムスライスが必要です。その結果、出力データセットのタイムスライスは実行状態を保留したままになり、私のAzureデータファクトリパイプラインは機能しません。 下記の画像を参照してください。 この問題を解決するためのご提案です。