R - 行ごとにSTDINを読む

Question

大きなデータテーブルをR LINE BY LINEにストリーミングしたい場合、現在の行に特定の条件がある場合（最初の列が> 15であるとします）、その行をデータに追加しますメモリ内のフレーム。私は次のコードを書いた：

count<-1; 
Mydata<-NULL; 
fin <- FALSE; 
while (!fin){ 
    if (count==1){ 
     Myrow=read.delim(pipe('cat /dev/stdin'), header=F,sep="\t",nrows=1); 
     Mydata<-rbind(Mydata,Myrow); 
     count<-count+1; 
    } 
    else { 
     count<-count+1; 
     Myrow=read.delim(pipe('cat /dev/stdin'), header=F,sep="\t",nrows=1); 
     if (Myrow!=""){ 
     if (MyCONDITION){ 
      Mydata<-rbind(Mydata,Myrow); 
     } 
     } 
     else 
     {fin<-TRUE} 
    } 
} 
print(Mydata); 

しかし、私はエラー "データが利用できません"が表示されます。 私のデータは大きく、一度にすべてを読んで自分の条件を適用したくないということに注意してください（この場合は簡単でした）。

Answer 1

readLinesのようなR関数を使うのが賢明だと思います。 readLinesは、指定された数の行の読み取りのみをサポートします。 1.それを最初にfile接続を開くと組み合わせて、readLinesを呼び出すと、繰り返しあなたが望むものが得られます。 readLinesを複数回呼び出すと、次のn行が接続から読み取られます。

stop = FALSE 
f = file("/tmp/test.txt", "r") 
while(!stop) { 
    next_line = readLines(f, n = 1) 
    ## Insert some if statement logic here 
    if(length(next_line) == 0) { 
    stop = TRUE 
    close(f) 
    } 
} 

追加コメント：Rコードでstdin()：

• Rはファイルとして標準入力を処理する内部方法があります。 pipe('cat /dev/stdin')の代わりにこれを使用することをお勧めします。これにより、より堅牢になり、確かにクロスプラットフォームが増えます。
• 最初にMydataを初期化し、rbindを使用して成長を続けます。 rbindの行数が大きくなると、これは非常に遅くなります。これは、オブジェクトが大きくなるとOSが新しいメモリ位置を見つける必要があり、その結果、が多くてになるという事実と関係しています。 MyDataを事前に割り当てるか、スタイル・ループを適用する方が良いでしょう。