大きなnfcapdバイナリファイルからIPアドレスを取得する

Question

ソースIPと宛先IPに関する情報をnfcapdバイナリファイルから取得する必要があります。問題はファイルのサイズにあります。私はioまたはosパッケージで非常に大きなファイル（1 GB以上）を開いて読み込むことは望ましくないことを知っています。私は同時にnetflowpackageを読んだ後、24のフローやプロセス、それを持つチャンクにファイルを分割したい

package main 

import (
    "fmt" 
    "time" 
    "os" 
    "github.com/tehmaze/netflow/netflow5" 
    "log" 
    "io" 
    "bytes" 
) 

type Message interface {} 

func main() { 
    startTime := time.Now() 
    getFile := os.Args[1] 
    processFile(getFile) 
    endTime := time.Since(startTime) 
    log.Printf("Program executes in %s", endTime) 
} 

func processFile(fileName string) { 
    file, err := os.Open(fileName) 
    // Check if file is not empty. If it is, then exit from program 
    if err != nil { 
     fmt.Println(err) 
     os.Exit(1) 
    } 

    // Useful to close file after getting information about it 
    defer file.Close() 
    Read(file) 
} 

func Read(r io.Reader) (Message, error) { 
    data := [2]byte{} 
    if _, err := r.Read(data[:]); err != nil { 
     return nil, err 
    } 
    buffer := bytes.NewBuffer(data[:]) 
    mr := io.MultiReader(buffer, r) 
    return netflow5.Read(mr) 
} 

：

は、ここに私のハッキング、ドラフトスタートです。しかし、私は分割中にデータを失うことなくそれを行う方法を想像していません。

私がコードや説明で何かを忘れた場合は、私に修正してください。私はWeb上で私のソリューションを検索し、別の可能な実装について考えるのに多くの時間を費やします。

何か助けやアドバイスをいただければ幸いです。

ファイルには、次のプロパティ（ターミナルでコマンドfile -I <file_name>を）持っている：

file_name: application/octet-stream; charset=binary

ファイルの出力をコマンドnfdump -r <file_name>後にこの構造を有する：

Date first seen   Duration Proto  Src IP Addr:Port   Dst IP Addr:Port Packets Bytes Flows 

すべてのプロパティは、自身のコラムです。

UPDATE 1： は残念ながら、それはnfcapd介してディスク上に保存した後によるバイナリファイルの構造の違いにNetFlowのパッケージを使用してファイルを解析するimpossibleです。この回答は、nfdumpの寄稿者のoneによって与えられました。

唯一の方法は、pynfdumpのようなgoプログラムで端末からnfdumpを実行することです。

今後別のpossibleソリューションは、gopacketを使用します。

Answer 1

IOは、ファイルを解析する際の制約要因になりがちですが、計算が複雑でない限り、1つのファイルをシリアルに読み取るのが処理の最速方法になります。

ラップbufio.Reader内のファイルとRead関数にそれを与える：それは解析されています一度あなたが別途チャンクを処理する必要がある場合、あなたはその後、レコードを分割することができます

file, err := os.Open(fileName) 
if err != nil { 
    log.Fatal((err) 
} 
defer file.Close() 

packet, err := netflow5.Read(bufio.NewReader(file)) 

。