2012-02-03 14 views
1

私はPIGを使ってCSVファイルを読みたいのですか?私はload n pigstorage( '、')を使用しましたが、CSVファイルを正しく読み込むことができませんでした。なぜならデータにカンマ(、)が遭遇するからです。データをカンマで区切ってもdelimeterを与えるべきですか?データが入っているPIGのファイルを読み込む

答えて

2

あなたはPiggyBankCSVLoaderローダーを見ていたことがありますか? (もちろんファイル形式は有効である必要があります)

+0

私が試したありがとうとその作業... –

+0

に合った区切り文字は何がCSV..iがCSVExcelStorageを得たが、そのことがpiggybank.jarに、私が構築することはできませんよと、ファイルを保存したい場合はそれは...どんな提案ですか? –

2

データのコンマと区切り文字を区別することは、一般的には不可能です。 エスケープされたカンマを認識できる「データ」およびカスタムロード機能(Pig用)にあるコンマをエスケープする必要があります。

はこちらをご覧ください:あなたはCSVファイルを読みたい場合は
http://ofps.oreilly.com/titles/9781449302641/load_and_store_funcs.html
http://pig.apache.org/docs/r0.7.0/udf.html#Load%2FStore+Functions

-1

まず、有効なCSVファイルがあることを確認してください。この場合、ソースファイルをExcel(ファイルが小さい場合)や他のツールで変更したり、データの区切り記号(例:\ tab、;など)を付けて新しいCSVを書き出したりしないでください。 「良い」デリミタを持つ別の抽出を行うこともできます。あなたの負荷の

例は、このようなものになることができます( ';')

TABLE = LOAD 'input.csv' PigStorageを使用(SITE_ID AS:int型、 名:chararray、... );あなたのDUMPの

例: 'clean.csv' PigStorageを使用して( '')INTO

STORE表。 < - あなたに最高の

関連する問題