azure-data-lake

0熱

2答えて

テーブルにデータベースが存在するかどうか、U-SQLでチェックしています。現在、構文はこの例では DROP TABLE IF EXISTS Logs; CREATE TABLE Logs ( date DateTime, eventType int, eventTime DateTime, INDEX Index_EventType CLUSTERED (e

0熱

1答えて

データ工場のすべてのデータセットのファイルサイズを取得する方法 - 特にデータレイクストアとBLOB？

多くのデータセットを持つAzureデータファクトリには、多くの異なるパイプラインがあります。主にAzureデータレイクストアとAzure Blobのデータセットがあります。すべてのファイルのファイルサイズを知りたい（すべてのパイプラインのすべてのデータセットから）。 C＃でDataFactoryManagementClientを使用してすべてのパイプラインからすべてのデータセットを繰り返し処理でき

0熱

1答えて

すべてのファイルとディレクトリを取得する方法単一APIリクエストでAzure DataLakeのRest APIを使用するパス

以下の構造でファイルを作成する必要があります。私は再帰的メソッド呼び出しを使用します。だから私の申請プロセスは非常に遅かったです。すべてのフォルダが1つのapiリクエストを送信するため、同じ1つのファイルが1つのapiリクエストを取得するためです。私のデータエクスプローラの例では、3つのフォルダと4つのファイルがあります。私は7つのAPIリクエストを送信します。私はAPIが必要です。単一A

0熱

1答えて

アクセス制御/ ADLSで新しいフォルダを作成

現在寄稿者の役割に割り当てられていますが、データエクスプローラにアクセスして新しいフォルダを作成しようとするとアクセス制御例外エラーが発生します（Azureデータレイク格納）。どのような権限が必要ですか？ rootの下に新しいフォルダを作成するには所有者でなければならないのですか？ここで

0熱

1答えて

USQLジョブの入出力ファイルサイズをプログラムで取得する

USQLのジョブの詳細（UI内）では、すべての入出力ファイル名がそのサイズで表示されていることがわかります。私はC＃からこの情報を読んでいます。私はadl：//bswadls..net/system/jobservice/jobs/Usql/2017/10/29/09/58//query.abrにそれがファイル名とストリームサイズの情報を持っていることを知りました。入力の場合はファイル名とストリー

0熱

1答えて

Azureデータレイク解析とAzure Blobストレージとの接続方法

こんにちは、私はAzure Data Lake Analysisを使用してシステムログを分析しています。そして、私はデータ湖の解析（U-SQL）からBLOBストレージを接続して、問題を満たすこのU-SQLを起動する前にBLOBストレージからファイルを読み込み、このU-SQLのショーは、私がTEST2 BLOBストレージとtestconコンテナを作成（およびアクセスポリシーを設定） @sea

1熱

1答えて

OutOfMemory on custom extractor

私は1つのファイルにたくさんの小さなXMLファイルを縫い合わせ、カスタム抽出プログラムを作成して各ファイルに対応する1バイト配列の行を返しました。（gzipで圧縮され、11Mビット）一つのファイルのためのリモコンの実行/マスター実行それは、それが正常に動作します。複数のファイルを実行すると、System.OutOfMemoryExceptionが発生します。ローカル/マスター（500 +

0熱

1答えて

データレイクデータベースまたはデータレイクテーブルの作成時間を取得するにはどうすればいいですか

古いデータベースやテーブルをクリーンアップするためにpowershellスクリプトを作成していますが、Get-AzureRmDataLakeAnalyticsCatalogItemから返されたオブジェクトには作成時間がありません。

1熱

3答えて

U-SQL - CASE文のSUM

私は、顧客と部門が集計しようとしている顧客トランザクションを持つテーブルを持っています。 C#同等として SELECT Cust_id , SUM(CASE WHEN dept = 1 THEN (price * qty) ELSE 0 END) dept_1_spend , SUM(CASE WHEN dept = 2 THEN (price * qty) ELSE 0

1熱

1答えて

.netカスタムプロセッサーまたはレデューサーを使用するには？

セッションによって論理的に分割された入力データセットがあります。処理中に、セッションごとの行に基づいて計算されるハッシュ値を含むもう1つの列を生成する必要があります。セッションのすべての行にハッシュ値（セッション内で同じ）がスタンプされます。入出力カーディナリティは同じになります。写真は私が持っているものを示しています。 .netカスタムレデューサーまたはプロセッサーを使用すると思います。私は