データセット内の欠損値の一定量を入れて - AzureのML

Question

が

私はAzureのMLと私の目標を扱ってると、私は私のデータセット内の欠損値の（パーセンテージ）一定量を持っている場合、何が起こるかを確認することです。 、（例えば、大人データセットに取る）データセットから始め 元のデータセットを複製し、大会X.データセットXが20％の割合で無作為に欠損値が含まれますためにそれを呼び出す： 私の考えがある可能性があります。オリジナルデータセットと重複データセットXを取得したら、ニューラルネットアルゴリズムを使用してトレーニングとテストセットを作成し、データセットXを入力としてこのニューラルネットをトレーニングします。興味深いのは、発生したグローバルエラーです。私たちは、20％から始めて、データセットXに欠損値の範囲を拡大するために想像することができた後、40％の後のように...私は、最も難しい部分は、元のデータセットを複製することだと思うので、この不足しているとのデータセットXを作成します値。

どのように私はそれを行うことができますか？ Azure MLや多分R/Pythonスクリプトでモジュールを使う？ただ、私の考えを共有

Answer 1

は、以下のようにサンプルコードに&のコメントを参照してください。

import numpy as np 
import pandas as pd 

# Origin DataFrame 
df = pd.DataFrame(np.random.randn(6,4)) 

# Copy data via flatten data matrix as an array 
array = df.values.flatten() 

# insert missing data by percent 
# Define the percent of missing data 
percent = 0.2 
size = len(array) 
# generate a random list for indexing data which will be assigned NaN 
chosen = np.random.choice(size, int(size*percent)) 
array[chosen] = np.nan 

# Create a new DataFrame with missing data 
df2 = pd.DataFrame(np.reshape(array, (6,4))) 

希望します。