pickle

0熱

1答えて

pickleファイルにnumpy配列の辞書を保存します。そして、新しい変数にそれらをunpicklingします。コードは次のようである：酸洗： # here the variables 'train_dataset', 'train_labels' etc are all np arrays. save = { 'train_dataset': train_dataset,

0熱

1答えて

画像の畳み込みを伴う効率の低いPython並列/マルチプロセッシング

各タスクでは、最初のステップとして〜500画像が畳み込まれており、ndimage.filtersの下のフィルタは1コアしか使用していないようです。私は、multiprocessing.queueでmultiprocessing.poolとmultiprocessing.processを試しました。どちらも動作しましたが、単一プロセスを使用するよりもはるかに遅くなりました。その理由は、おそらくピクル

1熱

1答えて

AWSのscikit学習モデル.pklを再利用する

私はAWSの初心者です。自分のコンピュータでscikit-learnを使ってRandomForestClassifierを訓練しました。私はpkl形式で自分のモデルを取得するためにjoblibを使用しました。 AWS LambdaでこのRandomForestを再利用したいと思います。私のモデルを再び読み込むためにsklearn.externalsが必要なので、Numpy、Scipy、sklea

1熱

1答えて

オブジェクト階層をピクルするにはどうすればいいですか？各オブジェクトは通常、独自の個別ファイル*で保存されます。

私はピクル、特にcPickleを使用して、モジュール、プロジェクト、モジュールオブジェクト、シーンオブジェクトなどを表すファイルのフォルダとしてオブジェクトのデータをシリアル化します。これを行う簡単な方法はありますか？したがって、実行中に各親オブジェクトが子/兄弟オブジェクトへの参照を格納するので、unpicklingはややこしいでしょうが、親のpickleデータはオブジェクトへのファイルパスを

1熱

1答えて

巨大な画像データセットを保存して読み込む方法は？

私は大きな画像データセットを保存しています。私は30万の画像を持っています。各画像は、私はそれをロードするために長い時間がかかり、いくつかの時間lはメモリエラーを取得しかしとして img_arr = np.stack(images, axis=0) np.savetxt('pixels_dataset_large.csv',img_arr,delimiter=",") に従うことを記憶され

0熱

1答えて

Python内でのピクルの問題

私は現在、インベントリシステムを作成しようとしています。私はそれが私のために辞書を保存するように思えたので、私はpickleを使うと思った。唯一の問題は、今はリストを参照するたびに、リストに別のアイテムを追加するために戻ってきて、そこにあるものを削除します。 import pickle #creates a dictonary Inventory = {} product_add = ""

0熱

1答えて

物理フォルダ

にPythonでピクルスファイルを保存するためにどのように私はPythonでピクルスを使用してに新しいです。このは私が見ることができないです今何 pickle.load(open("result.p", "rb")) を使用してこのファイルを読み取ることができています result = "123" pickle.dump(result, open("result.p","wb")) は

0熱

1答えて

Naive Bayesモデル（.pkl）が予測に時間がかかりすぎる

私は文の予測感覚のためにナイーブベイズアルゴリズムを使用しています。私は将来の使用のためのモデルを作成しています。私はcpickleを使ってモデルを保存しています。しかし、文を読み込んで予測すると、時間がかかりすぎる。約100MBの.pklファイルをロードするには時間がかかります。 3つのモデルがあります。私はPythonでFlaskマイクロサービスを使用しています。したがって、各要求（.pkl）

0熱

1答えて

認証を提供せずにS3からSklearnモデルをロード

SklearnモデルをpickleしてS3に公開した場合、そこからロードする方法はありますか？ truncated_svd.pklという名前のバケットにモデルとバケットファイルというバケットがあるとします。私はpickleを使って、truncated_svd.pklファイルをS3からロードし、認証を提供する必要がなくなります。私がこれを認証したくない理由は、このコードが公に利用可能である必要がある

0熱

2答えて

訓練された機械学習モデルが大きすぎます

一部の回帰タスクのために余分なツリーモデルを訓練しました。私たちのモデルは3つの余分な木から成っています。それぞれの木は深さ30の木が200本あります。余分な3本の木の上には尾根の回帰があります。モデルを数時間トレーニングし、訓練されたモデル（クラスオブジェクト全体）を後で使用するために漬けます。しかし、保存された訓練されたモデルのサイズは約140 GBと大きすぎます！保存されたモデルのサイズ