トランザクションデータベーステーブルからのデータがData Lakeにプルされ、約20カラムのレコードが約50万レコード、Data LakeにありますJSON形式。Azureテーブルストレージ - Data Lake File - USQLを使用して単一行のSelect文をフェッチする際のSLOW応答時間
Logic Appsを通じて、Python - > U-SQL関数を使用して特定の行を読み取るU-SQL文を実行すると、応答が遅くなり、パフォーマンスが向上します。
ローカル実行に比べて遅い理由がいくつかあります。 1.クラスタ環境はローカルと同じではありません。クラスタでは、2つのコアと6GBのメモリしかありません。また、オペレータは、オペレータごとに512MB以上のRAMを使用しないように制限します。この問題は、世界の現地では発生しません。 2.マーシャリングのオーバーヘッドがあり、フォームusql演算子をpython拡張子に変換すると、データフレームを作成します。これを実行すると、Python実行が完了します。 3. Pythonコードを実行するコンテナにも環境を作成する必要がありますPythonランタイムをコピーすることを含む
今後のリリースでは、2018年1月の2と3の制限に対処する予定です。