データフローワーカーで実行されているJavaアプリケーションをプロファイルする方法はありますか? 私のアプリケーションのメモリリークを検出できるツールがありますか?Googleのデータフローで動作するJavaアプライアンスをプロファイルする
0
A
答えて
2
時間プロファイリングについては、このissue 72に記載されている手順を試すことができますが、作業者がプロファイルを取得する前に、作業者が引き裂かれたり、自動スケールされたりするのが難しい場合があります。残念ながら、それはメモリプロファイリングを提供しないので、メモリリークを助けることはありません。
DirectPipelineRunner
で実行すると、マシン上でローカルにパイプラインが実行されます。これにより、データフローワーカーを処理することなく、パイプラインのコードをプロファイルすることができます。パイプラインの規模に応じて、入力サイズを1台のマシンで処理できるものに調整する必要があります。
ワーカー上で実行されるコード(例えば、単一のDoFn
内のコード)とパイプラインの構造およびデータを区別することも役立ちます。たとえば、メモリ不足の問題は、単一のキーに関連付けられた値の数が多すぎるためにGroupByKey
を読み込んでリストに読み込むことによって発生する可能性があります。
関連する問題
- 1. Googleのデータフローで1.9.0のDoFnをJavaで使用する
- 2. GoogleのデータフローでパーソナライズされたWindowFnを作成する方法
- 3. Googleのデータフロー:
- 4. データフローの並列動作
- 5. Javaを使用してデータフロー図を作成する方法
- 6. SSISデータフローでテーブルを動的に作成
- 7. Google検索アプライアンス - ファイルタイプをフィルタリングする最適な方法
- 8. Google検索アプライアンスで大きなファイルのインデックスを作成するにはどうすればよいですか?
- 9. Luigi内でGoogle Cloudデータフローのインポートエラーを回避する方法
- 10. ハイパージャーコンポーザーのプロファイル接続を手動で作成する方法
- 11. Googleのデータフロー用のワークフローオーケストレーション
- 12. GoogleのデータフローWindows間でリソースを共有
- 13. 、Googleのデータフロー、DATA_LOSS例外
- 14. Google CloudのデータフローにApacheビーム
- 15. Google検索アプライアンスnewwavesearchable UDPポート2058
- 16. Google検索アプライアンスの結果のメタデータフィールドを返す
- 17. ASP.NETプロファイルを作成する
- 18. 更新プログラムのインストール後にCS50アプライアンス2014が動作しない
- 19. Googleのデータフローでカスタムパイプラインオプションを渡すときにnullポインタ例外を取得する
- 20. Java 5で動作するJavaデコンパイラ
- 21. プロファイル付きのspringbootを起動する
- 22. Google Mini(アプライアンス)は外部のサーバー(Wordpressのブログなど)をクロールできますか?
- 23. プロファイルの詳細ページを作成する
- 24. Google検索アプライアンスを設定してワードプレスに接続する方法
- 25. アセンブリコードでXcodeプロファイルが動作しない
- 26. Googleのデータフローとの複雑な結合
- 27. Googleのデータフロー2.0 pubsubハンドラの遅いデータ
- 28. Googleのデータフローとタレントの違いは何ですか?
- 29. クラウドファウンドリーでhttpsでデータフローを使用する
- 30. 複数の人が同じNiFiデータフローで作業する