一部の回帰タスクのために余分なツリーモデルを訓練しました。私たちのモデルは3つの余分な木から成っています。それぞれの木は深さ30の木が200本あります。余分な3本の木の上には尾根の回帰があります。 モデルを数時間トレーニングし、訓練されたモデル(クラスオブジェクト全体)を後で使用するために漬けます。しかし、保存された訓練されたモデルのサイズは約140 GBと大きすぎます! 保存されたモデルのサイズを減らす方法はありますか?役に立つかもしれない漬け物、または漬け物のための任意の構成がありますか?訓練された機械学習モデルが大きすぎます
0
A
答えて
3
ベスト・ケース(バイナリー・ツリー)では、3 * 200 * (2^30 - 1) = 644245094400
ノード、または434Gb
があり、各ノードは1バイトのコストで済むと仮定しています。私は、140GBはかなりの大きさだと思います。
編集:悪い数学。
1
圧縮パラメータを指定してjoblibを試すことができます。
from sklearn.externals import joblib
joblib.dump(your_algo, 'pickle_file_name.pkl',compress=3)
compress - 0〜9より大きい値は、より多くの圧縮を意味しますが、読み込みと書き込みの時間が遅くなります。値3を使用すると、しばしば良い妥協点です。
python標準圧縮モジュールzlib、gzip、bz2、lzma、xzを使用できます。あなただけの特定の拡張子を持つ
例
joblib.dump(obj, 'your_filename.pkl.z') # zlib
詳しい情報をフォーマットを指定することができることを使用するには、[リンク]をご覧ください:(http://gael-varoquaux.info/programming/new_low-overhead_persistence_in_joblib_for_big_data.html)を
関連する問題
- 1. 3Dモデルから訓練されたモデル(機械学習)を作成する
- 2. 機械学習、テストに訓練モデルを適用する
- 3. 訓練された機械学習モデルをプロダクションに展開する手順
- 4. あらかじめ訓練された機械学習モデルをApp Engineに転送する方法
- 5. 機械学習のための積み重ねで、モデルを訓練する必要がありますか?
- 6. R機械学習モデル - ブラインドテスト
- 7. iOSでTensorflow訓練を受けた機械学習モデルを使用する方法
- 8. マレットを使って隠れマルコフモデルを訓練する例(言語工学のための機械学習)
- 9. Webサービスに訓練された強化学習モデルを導入する方法
- 10. 機械学習モデルのデータフィッティングと予測
- 11. 整数セットのペアで訓練できる機械学習アルゴリズムはありますか?
- 12. 機械学習の巨大なデータセットsklearn
- 13. 機械学習が幾何学に適用された
- 14. 機械学習、Python
- 15. 機械学習システム
- 16. 機械学習udacity
- 17. Python - 機械学習
- 18. 機械学習モデルテスト
- 19. パラメーターとして渡すと機械学習モデルが変更されますか?
- 20. 機械学習モデルのサイズが異なりますか?
- 21. 機械学習における訓練されていないアイテムの識別の可能性
- 22. 深い学習と機械学習
- 23. 機械学習における「訓練の喪失」は何を意味していますか?
- 24. 機械学習、GA + BPまたはGA、巨大なNN?
- 25. Java/JVMベースのアプリケーションでモデルを学習して機械学習する方法
- 26. 機械学習では過ぎとノイズは何ですか?
- 27. 機械学習モデルはどのように更新されますか?
- 28. 機械学習のヌルクラス
- 29. 機械学習 - 分類アルゴリズム
- 30. Coursera機械学習:グラデーションデサントベクトル化
scikitモデルの永続性[ページ](のhttp:/ /scikit-learn.org/stable/modules/model_persistence.html#)では、 'joblib 'を使用する方が効率的な場合があることを示唆しています。 – Tchotchke