バッシュパイプラインシェルスクリプトは不十分

Question

の実行/ /デッドロック飢餓状態に私は、ファイルシステム内の重複ファイルのレポートを作成するためにduffを使用している：私はにこのレポートを変換するために、いくつかのグルーヴィーなスクリプトを書かれている

duff ~/Photos > ~/Photos/duplicates.txt 

約50％の時間で、問題なく美しく動作します。

私のスクリプトの中には、実行を開始しないものや、非常に遅いものがあります。これはなぜですか、それを防ぐために私は何ができますか？ （そしてなぜgrepのような「専門的に書かれた」コマンドラインプログラムはこの問題に悩まされない？）

詳しい情報

• しばらく それは（STD入力を受け取るまで、私は、各スクリプトの開始を遅らせますデータなし、2.5秒間スリープ）。スリープ間隔が
• 私は一緒に接続してより多くのパイプが、より頻繁にそれが起こる短かったとき飢餓はここだ

• （私はちょうどcat後、私のいずれかのスクリプトを実行する場合、私は問題を取得することはありません、） より頻繁でした私のスクリプトのそれぞれを使用しているテンプレート（私はGroovyのランタイムを使用しますが、プレーンなJava構文に固執する）：

  のpublic static無効メイン（文字列[] args）をスロー{

  BufferedReader br = new BufferedReader(new InputStreamReader(System.in)); 
  
  while (!br.ready()) { 
      Thread.sleep(2500L); 
  } 
  
  while (br.ready()) { 
      String inputLine = br.readLine(); 
      // Do stuff 
  } 
  

  }

  IOExceptionが

Answer 1

ストリームが準備完了しているかどうかチェックするのはなぜですか？あなたがしたいのは、データが利用可能になるのを待って、利用可能なときにそれを読むことです。通常の潜在的にブロックされている読み込みを使用するだけであれば、それが起こります。

コードを抜粋したデータがすぐに利用できなくなるとすぐに読み取りループを終了すると、プログラムは少なくとも時間の早い段階で終了する可能性があります。あなたがEOFを見るまで、読んだだけで（おそらくデータが利用可能になるまでブロックするかもしれません）、物事はちょうどうまくいくはずです。 （これはgrepや他の "専門的に書かれたプログラム"が行うことです）

Answer 2

あなたが提供した情報が限られている理由は言うまでもありません。 groovyの別のインスタンスにパイプするたびに、新しいjvmを起動しています。オーバーヘッドがあり、それがシステムに課税されます。 （Javaのデフォルトの起動設定を確認してください）

もう一つは、あなたのスクリプトは2.5秒間スリープしてから仕事に取り掛かり、2.5秒間スリープ状態に戻ります。行うには、他のスクリプトのいずれかを持って仕事がある場合

2.5 + 2.5 + 2.5 = 7.5秒

以上：など、寝ている、他の出力を待っているあなたは最高のを待つことができます1秒以上（javaで直接Stringを処理するようなもの）... bash、grepなどの使い方を学ぶ価値があるかもしれません。最初にホイールと2番目の再発明を避けるには、正しい仕事。

Groovyは素晴らしいですが、おそらくgrep -vを使ってフィルタをかけることができますし、duffをjsonに、jsonをhtmlに、恐らくurアダプタを直接HTMLに書き込むことができますか？テキストを変換するために何をしているかのような音は、おそらくあまり効率的ではありません...