トレーニングとテストのデータを無作為に分割する

Question

私は約3000のオブジェクトを持っています。私は70％の トレーニングと30％のテスト分割でトレーニングとテストのデータをランダムに分割したいと思います。しかし、私はオブジェクトの数に基づいてではなく、各オブジェクトに関連付けられたカウントに基づいてそれらを分割したいと思います。

例として、私のデータセットに5つのオブジェクトが含まれていると仮定します。

Obj 1 => 200 
Obj 2 => 30 
Obj 3 => 40 
Obj 4 => 20 
Obj 5 => 110 

私は約70％-30％の割合でそれらを分割する場合は、私のトレーニングセットが

Obj 2 => 30 
Obj 3 => 40 
Obj 4 => 20 
Obj 5 => 110 

であるべきで、私のテストセットが

Obj 1 => 200

だろうもし私がそれらを再び分割すると、私は70-30分割比に近い別のトレーニングとテストセットを取得する必要があります。私は上記の分割は私に純粋な70-30分割を与えていないことを理解しますが、それが近づく限り、それは受け入れられます。

Pythonでこれを行うための定義済みのメソッド/パッケージはありますか？私が正しくあなたの質問を理解すると仮定すると、

Answer 1

、私の提案は、これを次のようになります。

from random import shuffle 
sum = sum([obj.count for obj in obj_list]) #Get the total "count" of all the objects, O(n) 
shuffle(obj_list) 
running_sum = 0 
i = 0 
while running_sum < sum * .3 
    running_sum += obj_list[i].count 
    i += 1 
training_data = obj_list[i:] 
testing_data = obj_list[:i] 

この全体の操作はO（n）が、あなたはそれよりも良く、時間の複雑さを取得するつもりはありません。ループやその他のものを一つのライナーに集約する方法は確かにありますが、私は、あなたが単一の関数で尋ねていることを達成する組み込み関数がないことを知ります。特に、その意味では「ランダム」であることを要求しているときではありません

Answer 2

私はPythonに特定の機能があるかどうかわかりませんが、そうではないと仮定すると、ここにアプローチがあります。

シャッフルオブジェクト：

from random import shuffle 
values = shuffle[200, 40, 30, 110, 20] 

辞書値の計算割合：

sum=0 
for i in range(len(result)): 
    if sum>0.7: 
     index=i-1 
     break 
    sum=sum+result[i] 

今すぐ、インデックスの前のオブジェクトは、オブジェクトを訓練し、それの後にされている。

prob = [float(i)/sum(values) for i in values] 

は、ループを適用しますオブジェクトをテストする。