データ科学のデータとテストデータを

Question

私は比較的新しいPythonのデータサイエンスで、データサイエンスに関するいくつかの競争を模索していましたが、「トレーニングデータセット」と「テストデータセット」と混同しています。いくつかのプロジェクトは両方を統合し、別のプロジェクトは分離しています。 2つのデータセットの背後にある根拠は何ですか？どんな助言も役に立ちます。

Answer 1

"トレーニングデータ"と "テストデータ"は、分析したいデータのサブセットを指します。教師付き機械学習アルゴリズムを使用してデータに何かを（たとえば、データポイントをクラスターに分類するために）使用している場合は、アルゴリズムを「訓練」する必要があります。

教師付き機械学習アルゴリズムのいくつかの例には、サポートベクターマシン（SVM）と線形回帰があります。それらを使用して、多くの次元を持つデータを分類またはクラスタリングすることができ、類似したデータポイントをまとめることができます。

これらのアルゴリズムは、「テストセット」で使用される前に、分析されるデータのサブセット（トレーニングセット）で訓練する必要があります。本質的に、このトレーニングは、人間が訓練しているのと同じように、新しいデータを提示するための一般的な解決策を推論するアルゴリズムをアルゴリズムに提供します。

希望すると便利です。

Answer 2

データセットは行のリストであり、トレーニングセグメントとテストセグメントに分割できます。これが行われる理由は、コードのトレーニングプロセスで使用されるデータの行間を明確に分離することです（オブジェクトを学習するために赤ちゃんを「訓練」するために使用するフラッシュカードのように考える） （あなたが物を学ぶために赤ちゃんをテストしているときに）使用されています。アルゴリズムがどのくらいうまく実行されたかについての正確なスコアを得るために、それらを別々にしたいとします（たとえば、テスト時に赤ちゃんが9/10の正解を得た場合）。訓練の行とtestinrowsを混在させた場合、赤ちゃんがトレーニング結果を記憶したかどうか、実際に9/10の新しい画像を認識する方法を実際に知っているかどうかはわかりません。

通常、データセットはコードの実行中に無作為に行を選択することでトレーニングとテストセットをランダムに選択するため、1セットとして与えられます。そうすれば、トレーニングを数回、テストをさまざまな回数実行し、平均を取ることができます。例えば、赤ちゃんは最初に9/10、次は6/10、最後は7/10になるかもしれません。平均精度は73.3％になります。これは一度試してみるよりも良い表現です（これは完全に正確ではありません）。

Answer 3

列車のデータセットは、モデルのトレーニング用であり、訓練を受けた後、訓練されたモデルの精度はどのようにチェックされますか？そのためには、テストデータセットを使用します。通常、利用可能なデータをトレーニング用に1つとテスト用に2つに分割します。