PigからPandasにCSV/TSVファイルをロード/エクスポートする方法は？

Question

私はいくつかのデータを処理するためのApache PIGを使用していますし、私のスクリプトの終わりに私は私がパンダにread_csv(headers=0)で読めるtsvファイルを持っている方法

store data into '/mypath/tempp2' using PigStorage('\t','-schema'); 
fs -getmerge /mypath/tempp2 /localpath/data.tsv; 

を使用しています。最初の仮定

col1    col2  col3  
{pigschema}0  1   2  

：

問題はtsvファイルは現在（いいです）1行目のヘッダだけでなくなどの2行目の最初の観測に連結スキーマが含まれていることです行は[0,1,2]です。だからread_csv（その行を失う）でskiprows=1を使用しない限り、私は私のデータでこの奇妙な観測を取得します。

ヘッダーを取得しているうちに、データをエクスポートするより良い方法があるのだろうかと思います。

多くの感謝！あなたが-getmergeため-nlパラメータを使用するすべての

Answer 1

まず：

store data into '/mypath/tempp2' using PigStorage('\t','-schema'); 
fs -getmerge -nl /mypath/tempp2 /localpath/data.tsv; 

Docs:

オプション

-nlは の最後に改行文字（LF）を追加可能にするために設定することができます各ファイル。

あなたはあなたの/localpath/data.tsv次のような構造を持っているでしょう：

0 - headerline 
1 - empty line 
2 - PIG schema 
3 - empty line 
4 - 1-st line of DATA 
5 - 2-nd line of DATA 
... 

ので、今、あなたは簡単にパンダでそれを読むことができます：

df = pd.read_csv('/localpath/data.tsv', sep='\t', skiprows=[1,2,3])