データを掃除するためのPythonまたはawk/sed

Question

私はデータ分析のためにRを使用しており、とても満足しています。しかし、データのクリーニングは少し楽になるかもしれません。私はこの仕事に適した別の言語を学ぶことを考えています。具体的には、未加工のデータを取り込み、不要な変数や観測結果を取り除き、Rで簡単に読み込むために使用するツールを探しています。コンテンツは、複数行のテキストではなく、数値データと文字列データです。

私はawk/sedの組み合わせとPythonを考えています。 （私はPerlも別の選択肢であると認識していますが、別の完全な言語を学ぶなら、Pythonはより良い、より拡張性のある選択肢です。学ぶために。欠点は、この組み合わせがPythonほど拡張性がないことです。確かに、もし私がPythonを学んだとすれば、私はいくつかの "mission creep"を想像するかもしれないが、これはうまくいくだろうが、私の目標ではない。

私が持っていたもう一つの考慮点は、大きなデータセットへのアプリケーションです。私が理解しているように、awk/sedは行単位で動作しますが、Pythonは通常、すべてのデータをメモリに格納します。これはsed/awkのもう一つの利点かもしれません。

他にも欠けている問題がありますか？あなたが提供できるアドバイスは高く評価されます。 （私はRのユーザーが自分のクリーニング勧告を提供するためのRタグを含む。）

Answer 1

は、あなたの冒険を台無しにしないように、私はノーと言うと、ここに理由であると思います：

• Rがベクトル化された場合のsed/awkのRはすでにPerlの正規表現と拡張正規表現
• Rの両方を持っている
• でないことは、より簡単にあなたがそれを必要とする場合
• Rは...、要約、
を可視化することができ、統計ルーチン（たとえば、帰属）に頼ることができます

そして最も重要なのはあなたはすでにRを知っています。

もちろん、sed/awkは小さなプログラムや1ライナーですばらしいと言われています。Pythonは素晴らしい言語です。しかし、私はRに固執することも考えています。

Answer 2

私は、pythonやperlやrubyのようなデータファイルを処理するための適切な言語で短期間のsed/awkソリューションを長期間投資することをお勧めします。私は、すべてのデータアナリストが少なくとも3つの言語を必要としていると思います。私は多量の計算にはCを使用し、データファイルの処理にはperlを使用し、インタラクティブな分析やグラフィックスにはRを使用します。

私はpythonが普及する前にperlを学びました。私はルビーに関する素晴らしいことを聞いたので、代わりにそれを試してみてください。

これらのいずれの場合でも、ファイルごとに行単位で作業することができます。 pythonはあらかじめ完全なファイルを読む必要はありません。

Answer 3

このタイプの処理には 'awk'をおすすめします。

おそらく、単純なテキストファイルで無効な観測を検索/拒否しているだけです。

awkはこのタスクでは高速であり、プログラミングは非常に簡単です。

さらに複雑な操作を行う必要がある場合は、可能です。

パフォーマンスヒットに気をつけなければ、Pythonも可能です。 "rpy"ライブラリはPythonとRコンポーネントを密接に統合するために使用できます。

Answer 4

私はPythonとPerlを定期的に使用しています。私はかなりうんざりしていて、かつてawkをたくさん使いました。私はフィット感と拍手でRを使用しました。 Perlは、データ変換機能と速度の点で最高です。

• Perlは本質的にsedとawkができるすべてのことを行うことができますが、さらに多くのことができます。 （実際には、perlに付属のa2pとs2pはawkとsedスクリプトをPerlに変換します。）
• PerlはほとんどのLinux/Unixシステムに含まれています。それがそうでなかったとき、sedとawkを学ぶ正当な理由がありました。その理由は長く死んでいる。
• Perlには、awkやsedから得られるよりもはるかに強力なモジュールが豊富に用意されています。たとえば、これらのモジュールは、補完DNA配列の解析、統計の計算、CSVファイルの解析、またはMD5の計算を行う1ライナーを有効にします。 （パッケージの場合はhttp://cpan.org/を参照してください）
• Perlは本質的にsedとawkのように簡潔です。私のような人たち（そして私はあなただと思う）にとっては、コマンドライン上のデータをすばやく変換することは大きな利点です。 Pythonはコマンドラインを効率的に使用するにはあまり意味がありません。

正直なところ、私はPerlの上でsedとawkを学ぶ理由を考えるのに迷っています。

私は「Perlの男」ではありません。私は宗教としてではなく、スイス軍ナイフのようにそれを好きです。

Answer 5

私はDirkに同意します。私は同じことを考え、他の言語も少し使いました。しかし、最終的には、経験豊富なユーザーがddplyやplyrのようなR. Packagesで行うことは、あなたにとって非常に面白いかもしれません。 、COMM、TR、ソート、カット、参加、grepを：それは、SQLは、私はUNIX-同様のプラットフォームで利用可能な他のコマンドラインツールの富と一緒に/ awkはsedの勧めしばしば

Answer 6

データジャグリングで私を助けたとされていますルーピングやその他のようなシェル機能が組み込まれています。 Rは他の一般的なスクリプト言語よりも優れていないとしても、データ操作を扱うことができるので、実際には別のプログラミング言語を学ぶ必要はありません。