azure-data-lake

1熱

1答えて

私たちは、単純な時系列データを含む大きなU-SQLテーブルを持っています。テーブルは1日に分割されます。新しいバッチのデータが受信されるたびに、新しいバッチに古いデータポイントの更新値が含まれている場合、新しい時系列データポイントを挿入し、以前に受信したデータポイントを新しい値で更新する必要があります。 U-SQLで詳細なUPDATEまたはDELETEを実行できないため、影響を受けたパーティション

0熱

1答えて

ブレークポイントの背後にあるU-SQLコードがヒットしない

私はAzureデータレイク解析とU-SQLを学習しています。私は実行され、期待される出力を生成する簡単なスクリプトを持っています。しかし、ヘルパーメソッドの背後にあるコードにブレークポイントを設定すると、シンボルがロードされていないため、決してヒットしません。私は利用可能なMicrosoftのチュートリアルをすべて見てきましたが、デバッグを有効にするために何かをしなければならないという提案はありま

0熱

1答えて

デフォルトの抽出プログラムを使用して、u-sqlスクリプトでvarbinary列を持つファイルを抽出する方法は？

私はファイル内のvarbinary列を抽出する必要があります。私はバイト[]で抽出しようとしました。「変換エラー。無効な文字を含む列」というエラーが表示されます。 U-SQLスクリプト：？？ EXTRACT IDをint型、CreatedDateに日時、フォトバイト[] Extractors.Csvを使用した @input FROM は（引用：真、nullEscape： "\ Nを" ）;

1熱

1答えて

Azure Data Lakeの帯域幅のスロットリング制限を制限します。

ADLSは帯域幅の制限をいくつか実装しているようです。これらはデータにアクセスするすべての人に等しく適用されますか？（HDInsightクラスタとADL Analyticsの違いはありますか？）この帯域幅はどの範囲でどのように決定されますか？ Here一部のHDInsightの制限があります。 HereいくつかのU-SQL制限が記載されています。

1熱

1答えて

USQLカスタム出力機でデータファイルをGZに圧縮

データレイクファイルをGZ圧縮に圧縮する必要があります。 USQLの出力装置が直接これをサポートしていないことがわかりました。私の以前の投稿では、How to preprocess and decompress .gz file on Azure Data Lake store? @Michael Rysは、自動圧縮機能は現在ロードマップ上にあると述べました。誰もがこれを達成するためのカスタムコー

1熱

2答えて

XmlExtractorを使用したU-SQL - 要素内の要素

U-SQLでは、要素内の要素のリストを取得しようとしています（XmlExtractorを使用）。しかし、私はネストされたコレクションを取得することはできません。ロケーションのあるアイテムのリストです。 XmlExtractorでは、要素のコレクションを取得できますが、コレクションを含むコレクションを取得する方法はわかりません。 XMLサンプルを以下に示します。アイデア？文字列は結果の区切りカン

0熱

1答えて

USQLのネストされたクエリのパフォーマンス

管理されたテーブルの400Mのレコードに対して独自のクエリを実行しています。しかし、開発中は、すべてのレコードに対して常に実行したくないので、where節をポップアップし、データの小さなサブセクションで実行し、約2分（@ AU）で完了します。私のデータ湖のtsvに結果を書き出します。それに満足です。ただし、これを2番目のクエリとそれ以降の処理のソースとして使用したいと考えています。元のUS

0熱

1答えて

イベントハブから複数のデータレークストアフォルダにデータを取り込む

EventHubのキャプチャを使用してEventHubからデータレイクストアにデータを取り込む予定です。私たちは複数のソースからEventHubにメッセージを持ち込み、EventHubメッセージヘッダーに基づいてDatalake上の別のフォルダにそれらのメッセージをルーティングしたいと考えています。これを行うためのさまざまなオプションは何ですか？