U-SQLテーブルへのデータの挿入に時間がかかりますか？

Question

U-SQLテーブルへのデータの挿入に時間がかかりすぎています。パーティション化された表を使用して、以前に処理されたデータを再計算しています。最初の挿入は、11,5および1のパーティションを持つ3つのテーブルでほぼ10-12分かかりました。並列性は10に設定されました。同じデータを2回挿入すると、ほぼ4時間かかりました。現在、私たちは年単位のパーティションを使用しています。パーティションを追加せずに挿入とクエリをテストし、パフォーマンスがはるかに優れていました。これはパーティション表の問題ですか？

Answer 1

同じジョブが、同じ並列性で実行された同じデータとスクリプトに対してそれほど長い時間がかかることは非常に奇妙です。 VisualStudio内からジョブグラフ（または頂点実行情報）を見ると、どこの時間が費やされていたのでしょうか？

（粗い粒度の）パーティションは、テーブルの個々のパーティションに対処することができるデータライフサイクル管理機能であり、必ずしもパフォーマンス機能ではありません（パーティションの削除はクエリのパフォーマンスに役立ちます）。しかし、同じスクリプト、リソース、データを使って数分から数時間にすべきではありません。