ジュピターノートブックで作成したプログラムをスピードアップするにはどうしたらいいですか？

Question

私はJupterノートブックで作成されたPythonプログラムを持っています。私が使用したデータサイズと最適化のために、ある範囲内で4倍のカスタムクロスバリデーションが完了するまでに約30分かかります。

マイコンピュータの環境：CPU i5 3.3 GHz、8 GB DDR3 RAM、SSD。

いくつかのサーバーにデプロイすることが可能になると速度が少し速く行うことができるなら、私は

1. を思ったんだけど？ （データファイルは約30MBしかないので、データとプログラムの両方をアップロードすることは可能だと思います）。そして、これはプログラムを使いたい人にも役立つかもしれません。

2. クロスバリデーションを高速化するために何かできますか？それは親切な手作業です。私はsklearn.cross_validation.KFoldを使って列車とテストセットを抽出します。次に、各折り返しをループしてモデルを構築し、その結果をテストします。モデル構築メソッドをカプセル化し、parrallelで相互検証を実行できるかどうかはわかりません。

Answer 1

1：Amazonなどのいくつかの有料HPCサーバーがありますが、これはSOのトピックです。

2：クロスバリデーションの繰り返しは、並行して行うことができます。

クロスバリデーションが接続されていないとして、私はこのような何かを示唆している：

import multiprocessing 

def validation_function(args): 
    do_validation 
    ... 
    ... 

p = multiprocessing.Pool(processes=multiprocessing.cpu_count()) 
for _ in p.imap_unordered(validation_function, args): 
    pass