HDFSのサンプルデータ

Question

HDFSからサンプルデータを取得する必要があります。

私が使用しています：

hadoop fs -tail dev/sample.csv 

それはstdoutにファイルの最後のキロバイトを表示します。

---

• のJava APIを経由してhadoop fs -tailを使用する方法はありますか？

• HDFSのサンプルデータ（ランダム）を取得する他の方法はありますか？

Answer 1

あなたは、たとえば、HDFS DFS -tailを使用することができますorg.apache.hadoop.fs.FsShell.tail(String[], int)からaws repo

にいくつかのデータセットを見つけることができます：

long fileSize = srcFs.getFileStatus(path).getLen(); 
long offset = (fileSize > 1024) ? fileSize - 1024: 0; 

while (true) { 
    FSDataInputStream in = srcFs.open(path); 
    in.seek(offset); 
    IOUtils.copyBytes(in, System.out, 1024, false); 
    offset = in.getPos(); 
    in.close(); 
    if (!foption) { 
    break; 
    } 
    fileSize = srcFs.getFileStatus(path).getLen(); 
    offset = (fileSize > offset) ? offset: fileSize; 
    try { 
    Thread.sleep(5000); 
    } catch (InterruptedException e) { 
    break; 
    } 
}