.NET呼び出しを追加するとu-sqlジョブが非常に遅くなります

Question

コードは2000個の小さなファイル（〜10-50 Kb）〜1分を超過して非常に高速に実行されます。 Parallelizm = 5

@arenaData = 
    EXTRACT col1, col2, col3 
    FROM @in 
    USING Extractors.Tsv(quoting : true, skipFirstNRows : 1, nullEscape : "\\N", encoding:Encoding.UTF8); 

@res = 
    SELECT col1, col2, col3 
    FROM @arenaData; 
    OUTPUT @res 
    TO @out 
    USING Outputters.Csv(); 

しかし、私はこのようなコードを変更した場合、.NETコールがとても遅いのはなぜそれが〜1時間

@arenaData = 
    EXTRACT col1, col2, col3 
    FROM @in 
    USING Extractors.Tsv(quoting : true, skipFirstNRows : 1, nullEscape : "\\N", encoding:Encoding.UTF8); 

@res = 
    SELECT 
     col1.ToUniversalTime().ToString("yyyy-MM-dd HH:mm:ss", CultureInfo.InvariantCulture) AS col1_converted, 
, col2, col3 

    FROM @arenaData; 
    OUTPUT @res 
    TO @out 
    USING Outputters.Csv(); 

を取りますか？私はソースのCSVファイルの日付形式を "yyyy-MM-dd HH：mm：ss"に変換する必要がありますか？どうすればそれを効果的に行うことができますか？

Answer 1

あなたは今より良いパフォーマンスを得ていると聞いて嬉しいです！

あなたのジョブは、管理されたコードで実行されている式を使用して2800個以上の非常に小さなファイルで実行され、U-SQLのより一般的なC＃式があるためC++に変換されません。

これは、次のような問題につながる：

1. あなたはAUの一定数を使用してジョブを開始します。各AUは、YARNコンテナを開始してジョブの一部を実行します。これは、コンテナをきれいに初期化する必要があることを意味します（これは、Vertex Execution Viewで作成時に表示されます）。さて、これは少し時間がかかります。頂点がいくらかの大量の処理を行うならば、あまりオーバーヘッドではありません。残念ながら、あなたのケースでは、処理は小さなファイル上で非常に速いので、大きなオーバーヘッドがあります。

2. 頂点がコード生成したコードをC++コードにのみ実行する場合は、再初期化時間なしでコンテナを再利用できます。残念ながら、潜在的な成果物が残っているため、管理対象ランタイムで実行される一般的なユーザーコードを再利用することはできません。したがって、その場合は、コンテナを再初期化する必要があります。コンテナには時間がかかります（2800回以上）。

今すぐあなたのフィードバックに基づいて、我々は（あなたはインラインC＃の式を持つ空想何もしないならば、我々はまだ再初期化することができます）私たちの再初期化ロジックを改善しています。また、頂点ごとに1つのファイルではなく、単一の頂点の中にいくつかの小さなファイルを処理できるようになると、より良い結果が得られます。

回避策としては、ファイルのサイズを大きくし、カスタムコード（必ずしも当てはまるとは限りませんが）があまりに多くの頂点に収まらないようにすることです。