Googleのデータフローで動作するJavaアプライアンスをプロファイルする

Question

データフローワーカーで実行されているJavaアプリケーションをプロファイルする方法はありますか？ 私のアプリケーションのメモリリークを検出できるツールがありますか？

Answer 1

時間プロファイリングについては、このissue 72に記載されている手順を試すことができますが、作業者がプロファイルを取得する前に、作業者が引き裂かれたり、自動スケールされたりするのが難しい場合があります。残念ながら、それはメモリプロファイリングを提供しないので、メモリリークを助けることはありません。

DirectPipelineRunnerで実行すると、マシン上でローカルにパイプラインが実行されます。これにより、データフローワーカーを処理することなく、パイプラインのコードをプロファイルすることができます。パイプラインの規模に応じて、入力サイズを1台のマシンで処理できるものに調整する必要があります。

ワーカー上で実行されるコード（例えば、単一のDoFn内のコード）とパイプラインの構造およびデータを区別することも役立ちます。たとえば、メモリ不足の問題は、単一のキーに関連付けられた値の数が多すぎるためにGroupByKeyを読み込んでリストに読み込むことによって発生する可能性があります。