zcat

    0

    1答えて

    100mil行* .gzファイルから行間隔を戻すにはどうすればよいですか? 私は15ミルから20ミルまでの5ミルの行が必要ですか? これは最適な実行オプションですか? zcat myfile.gz|head -20000000|tail -500 real 0m43.106s user 0m43.154s sys 0m9.259s

    2

    2答えて

    〜40MBのgzip形式のテキストファイルを読み込んで処理する必要があります。また、ボリュームを他のユーザーも使用するため、I/Oオーバーヘッドを最小限に抑えて高速に処理する必要があります。私はこの作業のためにこれ見つけた最速の方法は、次のようになります。 def gziplines(fname): f = Popen(['zcat', fname], stdout=PIPE)

    3

    4答えて

    ls -ltr|grep 'Mar 4'| awk '{print $9 }'|zcat -fq |grep 12345 特定の日付に変更されたすべてのファイルを見つけて、それらをzcatしてfielsで数値ストリングを検索したいとします。 ファイル自体ではなく文字列のファイル名を検索するため、上記は機能しません。 助けが必要ですか? M

    0

    1答えて

    CSVファイルを1行ずつ読み込み、いくつかの列の値のすべての行をチェックし、条件に従って別の新しいCSVファイルを作成するシェルコードを実行する必要があります。 私はこのようなコードを開始しました: FileName=$1 while read line do zcat FileName awk -F'\t' '$3 ~/.jar/ || $3 ~/.msi/ ||

    0

    1答えて

    zcatで行のインデックスを確認するにはどうすればよいですか? 私はzcatのフラグを見つけようとしましたが、行番号を表示しているフラグは見つかりませんでした。 例: 私のファイルは、これらの行が含まれています Hello everybody! aaa bbb aaa Hello 私は、このコマンドから取得したい: zcat file | grep Hello は、次のとおりです。 1

    0

    2答えて

    にZCATからストリーム: import subprocess subprocess.run( 'some_command --option <(zcat some_file_1.gz) <(zcat some_file_2.gz)', shell=True ) はこのエラーを得た: /bin/sh: -c: line 0: syntax error near unexp

    0

    1答えて

    誰かがJava内からこの操作を手助けできるかどうかは疑問です。 zcat -f -- $(ls -t a_log_file.log*) > combined.log a_log_file.logあり 、a_log_file.log.gz.1、a_log_file.log.gz.2 ... 私はむしろ複雑ではない何かを見つけることができませんでした。私は何とかJavaからこれを実行することもでき

    0

    3答えて

    処理スクリプトを作成しようとしていますが、最初は固執しています。それは間違っているようには見えませんが、実行を完了していて出力を出さないためにエラーがどこにあるのかを単に理解することはできません。デバッグに役立つ? #!/bin/sh # # Call with following arguments # sh test.sh <output_basename> <fastq folder

    0

    1答えて

    私だけPOST /xmlrpc.phpリクエストでレポートを生成したいので、私は、次のコマンドを実行します。 zcat access.log.*.gz | grep 'POST /xmlrpc.php' | goaccess -a -o report-xmlrpc.html レポートの結果は、すべて私は9日間のみご覧グラフに(表示されませんが、私がチェック他のログには、私はPOST /xmlr

    0

    1答えて

    私はasyncioを使ってネットワーク上で大きなログファイルをストリーミングしたいと思っています。私はデータベースからデータを取り出し、フォーマットし、pythonのzlibを使って圧縮し、ネットワーク上でストリームします。ここで は基本的に私が使用するコードです: @asyncio.coroutine def logs(requests): # ... yield fro