データ品質チェックにはどのようなソフトウェアが利用可能ですか

Question

カスタムルールで大量のデータファイル（.csv）を操作するためのソフトウェアオプションを特定したいと考えています。たとえば、適切な大文字と小文字の区別フィールド内の特定の単語の単語数、および他のいくつかのカスタムルールを特定することができます。どんな指導も高く評価されます。彼らはあなたが探しているものに非常に近いように見える

http://data-scrubbing.qarchive.org/

：

Answer 1

このタスクには、Talend Open Studioを使用できます。これは、データの操作と統合のためのOpensource ETLツールです。たとえば、ImportCSV >> DATABASE >>変換を実行する>> ExportCSVを実行できます。可能性は無限大。

あなたはここでそれを見つけることができます：あなたはデータのプロファイルを作成するために探しているかもしれないようhttp://www.talend.com/products-data-integration/talend-open-studio.php

また聞こえます。このために、Talend Open Profilerを使用することができます。彼らは最近、.csvなどのフラットファイルのサポートを追加しました。それは使用するのが簡単ですし、あなたは30分で起動して実行する必要があります。

あなたがここにダウンロードを見つけることができます：http://www.talend.com/products-data-quality/talend-open-profiler.php

をあなたがここにいくつかのチュートリアルを見つけることができます。http：

//www.talendforge.org/tutorials/menu.phpチュートリアルでは、データ品質]タブを選択してください'Talend Open Profiler'までスクロールダウン

これは、新しいデータセットのデータ品質を評価する私の最初のステップです。

Answer 2

簡単にGoogle「ユーティリティをスクラビングデータは、」これを回しました。

ルールはどれほど複雑になるかは本当に決まります。シンプルなものよりもはるかに複雑で、おそらく何かをコーディングするだけで（あるいはコード化して）いるかもしれません。