1
私たちは、単純な時系列データを含む大きなU-SQLテーブルを持っています。テーブルは1日に分割されます。新しいバッチのデータが受信されるたびに、新しいバッチに古いデータポイントの更新値が含まれている場合、新しい時系列データポイントを挿入し、以前に受信したデータポイントを新しい値で更新する必要があります。テーブルパーティションを動的に切り捨てます
U-SQLで詳細なUPDATEまたはDELETEを実行できないため、影響を受けたパーティションを切り捨て、再計算された1日の値を挿入するだけでした。マージを行うU-SQLスクリプトは、切り詰める必要のあるパーティションを識別します。
残念ながら、U-SQLでループを作成できないため、特定されたパーティションを動的に切り捨てる方法はないようです。他の場所で見つけた提案は、PowerShellスクリプトにパーティションの切り捨てを渡すことでしたが、必要以上に一時的な行セットを格納したり取得したりするのを避けるため、すべて同じU-SQLスクリプトの中に置いておきたいと思います。
カスタムC＃関数を使用することを考えましたが、U-SQL SDKがC＃関数でデータベースメタデータにアクセス/変更できるようには見えません。その他のオプションはありますか？
残念ながら、私たちは新しく到着したデータをEXTRACTした後で、ボリュームが原因でコストがかかりすぎるまで、どのパーティションを切り捨てる必要があるのか分かりません。データを一時的に保存するコストが正当化されているかどうかを少し試してみましょう。これは逆の投稿を生成するのに比べて、挿入を行うことができます。 – Dan
あなたのシナリオに欠けている機能のリクエストをhttp://aka.ms/adlfeedbackに投稿してください。たとえば、DELETE、UPDATEなどのデータ操作文の要求をupvoteできます。 –
パーティションテーブルを切り詰めようとすると、次のようなエラーが発生します。 'パーティションテーブルを参照するときにパーティション句が必要です。 'テーブルのすべてのパーティションを一度に切り捨てる簡単な方法はありますか、ドロップして再作成するのが最善でしょうテーブル？ – Dan