ETLプロセスのパフォーマンステストの実行方法

Question

ETLプロセスのパフォーマンステストを依頼されました。私はWebアプリケーションのパフォーマンステストにJmeterを使用していますが、ETLプロセスでこれを行うように求められたのは初めてのことです。調査した後、私が達成したいことは以下のステップですが、達成方法はわかりません。

ステップは、データのロードとクエリを確認

• あるが予測時間フレーム内に実行される
• データの最大予想容積がフレーム
• は種々でロード時間を確認的に許容される時間内にロードされていることを確認しスケーラビリティを予測するためのデータ量

注意：当社はETLプロセスのテストにツールを使用しておらず、ja va、パフォーマンステストのために、私は有料ツールを提供されませんので、私はオープンソース技術を使用する必要があります。私のスキルセットには、java、Jmeterが含まれます。

Answer 1

私はETLテストのための具体的なツールはないと思います。 データのCPU使用率/実行/処理時間などの基礎となるETLツールによって生成されたログファイルを参照することができます。

Answer 2

ETLプロセスのパフォーマンステストを行う特別なツールはないと思います。

私はInformatica Powercenterモニタを使用していますが、ETLツールを使用して各プロセスのログを生成して負荷プロセスを監視することもできます。負荷時間、スループットなどのパラメータを、取得したログを使用して手動で計算します。