JupyterHubを複数のユーザーにストレス/ロードする方法は？

Question

私は、このリンクでAWS EMRクラスター上JupyterHubを設定するためのチュートリアルに従っ：https://aws.amazon.com/blogs/big-data/running-jupyter-notebook-and-jupyterhub-on-amazon-emr/

Iクラスタアップとランニングを得たが、今、私の質問はどのように私は/負荷テストを強調しないのですか？ （すなわち、ノートブックを同時に走らせる100人のユーザをシミュレートする）。

クラスルームの設定では、約30人のユーザーがノートブックエクササイズを実行しているクラスターに入っていましたが、ノートブックでコードブロックを実行し始めた人が増えたときには大幅に減速しました。何が起こったのかは、Pythonライブラリのインポートが永遠に取られていて、一部のエクササイズが機能しなくなったか、まさにハングしていたことです。 Cloudwatchは、ネットワークのボトルネックがあることを示しました。

基本的に私が求めているのは、どうすればそのようなデバッグを行うことができるのですか？ EMRクラスターに複数のユーザーをsshingして、jupyterノートを開き、同時にコードブロックを実行する最良の方法は何ですか？

Answer 1

this oneのようなプロジェクトにはJupyterHubの負荷テストを行い、もう一度jupyterHub組織に移行する必要があります。

あなたの場合、JupyterHubを実際にテストするつもりはないことに注意してください。クラスタをテストしています。あなたのライブラリをインポートするだけでN個のスクリプトを並行して実行すれば、負荷テストができます。