いくつかのデータを、特定の分布に従うランダムに生成された数値に置き換えてください。

Question

人の年齢を表すいくらかの汚いデータがあります。間隔は-7000から2015までです。私は値を変更しました。

df_members['bd'] = df_members.bd.apply(lambda x: -99999 if float(x)<=1 else x) 
df_members['bd'] = df_members.bd.apply(lambda x: -99999 if float(x)>=100 else x) 

次のグラフはデータを示しています。

私は、第2の画像のように、私は分布に影響を与えることなく、-99999の値を交換するにはどうすればよい-99999

ある値を除外することで、グラフをプロット？年齢は15〜50歳で平均は約29、生年月日の中央値は28.0です。私は15-50の間で乱数を生成する予定ですが、私は元の分布を破壊することを心配しています。

Answer 1

https://stats.stackexchange.com/questions/78063/replacing-outliers-with-mean

これは通常行われない理由について迅速なプライマー。関係なく、

numpy.random.normalでサンプルの平均と標準偏差に基づいて新しい値セットを生成し、選択した値を超えたものを新しい「ランダムノーマル」サンプルのいずれかに置き換えます。

df_members['bd'] = df_members.bd.apply(lambda x: np.rint((np.random.normal(bd_mean, bd_sd))) if x==-999999 else x) 

と「X == - 99999」変更あなたが交換するものを見つける必要があるものは何でもロジックに。

ので、bd_meanとbd_sdもでインラインで計算できます。

df_members['bd'] = df_members.bd.apply(lambda x: np.rint((np.random.normal(df_members.bd.mean(),df_members.bd.std())) if x>9999999 else x)) 

あなたはその非正規分布を感じた場合、多くの異なるサンプルのタイプがあります！ここをクリックしてください： https://docs.scipy.org/doc/numpy-1.13.0/reference/routines.random.html

編集のおかげですべて！