スレッドとファイル書き込み

Question

私は20スレッドを使用するJavaプログラムを持っています。それらのすべては結果をoutput.txtというファイルに書き込みます。

output.txtには常に異なる数の行が表示されます。

スレッドの同期に問題がありますか？これを処理する方法はありますか？

Answer 1

スレッドの同期の問題がありますか？

はい。

これを処理する方法はありますか？

はい、関連するミューテックスで同期することで書き込みがシリアル化されていることを確認してください。あるいは、実際にファイルに出力するのはの1つのスレッドだけで、他のすべてのスレッドは、書き込みスレッドが描画するキューに書き込まれるテキストをキューに入れるだけです。 （。そうすれば20件のメインスレッドがI/Oでブロックされません）

ミューテックス日時：たとえば、それらはすべて私が参照してくださいよこれは、同じFileWriterインスタンス（または何でも）を使用している場合はfwように、その後、彼らはミューテックスとしてそれを使用することができます。彼らはそれぞれFileWriterまたは何自分自身を使用している場合

synchronized (fw) { 
    fw.write(...); 
} 

、彼らはすべての共有がmutexする何かを見つけます。

しかし、もう一度、他人のためにI/Oを行うスレッドを持つことは、おそらく良い方法です。

Answer 2

私はこの方法で整理することをお勧めします：1つのスレッドコンシューマは、すべてのデータを消費し、ファイルに書き込みます。すべてのワーカースレッドは、消費者スレッドに同期的にデータを生成します。または、複数のスレッドファイルの書き込みでは、いくつかのmutexまたはロックの実装を使用できます。

Answer 3

この場合、同期を使用する必要があります。 2つのスレッド（t1とt2）が同時にファイルを開き、そのスレッドに書き始めるとします。最初のスレッドによって行われた変更は、2番目のスレッドがファイルへの変更を最後に保存するため、2番目のスレッドによって上書きされます。スレッドt1がファイルに書き込みを行っているとき、t2はt1がタスクを終了してからt2が開くまで待機しなければなりません。

Answer 4

パフォーマンスの面白さと管理のしやすさが必要な場合は、Alexなどで提案されているように、プロデューサ - コンシューマキューとファイルライタを1つだけ使用してください。ミューテックスを持つファイルのすべてのスレッドをちょうど乱暴にする - すべてのディスク遅延は（競合が追加されて）メインのアプリケーション機能に直接転送されます。これは、警告なしに消え去る傾向のある低速のネットワークドライブでは、特に不愉快です。

Answer 5

あなたがFileOutputStreamとして、あなたのファイルを保持することができます場合は、このようにそれをロックすることができます。

FileOutputStream file = ... 
.... 
// Thread safe version. 
void write(byte[] bytes) { 
    try { 
    boolean written = false; 
    do { 
     try { 
     // Lock it! 
     FileLock lock = file.getChannel().lock(); 
     try { 
      // Write the bytes. 
      file.write(bytes); 
      written = true; 
     } finally { 
      // Release the lock. 
      lock.release(); 
     } 
     } catch (OverlappingFileLockException ofle) { 
     try { 
      // Wait a bit 
      Thread.sleep(0); 
     } catch (InterruptedException ex) { 
      throw new InterruptedIOException ("Interrupted waiting for a file lock."); 
     } 
     } 
    } while (!written); 
    } catch (IOException ex) { 
    log.warn("Failed to lock " + fileName, ex); 
    } 
} 

Answer 6

まあ、いずれかの実装の詳細なしで、知ることは難しいですが、私のテストケースが示すように、私は常に取得220ラインの出力、すなわち一定のライン数、FileWriter。ここでは​​は使用されません。

import java.io.File; 
import java.io.FileWriter; 
import java.io.IOException; 
/** 
* Working example of synchonous, competitive writing to the same file. 
* @author WesternGun 
* 
*/ 
public class ThreadCompete implements Runnable { 
    private FileWriter writer; 
    private int status; 
    private int counter; 
    private boolean stop; 
    private String name; 


    public ThreadCompete(String name) { 
     this.name = name; 
     status = 0; 
     stop = false; 
     // just open the file without appending, to clear content 
     try { 
      writer = new FileWriter(new File("test.txt"), true); 
     } catch (IOException e) { 
      // TODO Auto-generated catch block 
      e.printStackTrace(); 
     } 

    } 


    public static void main(String[] args) { 

     for (int i=0; i<20; i++) { 
      new Thread(new ThreadCompete("Thread" + i)).start(); 
     } 
    } 

    private int generateRandom(int range) { 
     return (int) (Math.random() * range); 
    } 

    @Override 
    public void run() { 
     while (!stop) { 
      try { 
       writer = new FileWriter(new File("test.txt"), true); 
       if (status == 0) { 
        writer.write(this.name + ": Begin: " + counter); 
        writer.write(System.lineSeparator()); 
        status ++; 
       } else if (status == 1) { 
        writer.write(this.name + ": Now we have " + counter + " books!"); 
        writer.write(System.lineSeparator()); 
        counter++; 
        if (counter > 8) { 
         status = 2; 
        } 

       } else if (status == 2) { 
        writer.write(this.name + ": End. " + counter); 
        writer.write(System.lineSeparator()); 
        stop = true; 
       } 
       writer.flush(); 
       writer.close(); 
      } catch (IOException e) { 
       // TODO Auto-generated catch block 
       e.printStackTrace(); 
      } 
     } 
    } 
} 

私が理解（およびテスト）のように、このプロセスに2つの段階があります。

• は、プール内のすべてのスレッドがすべて作成され、ファイルをつかむ準備ができて、始めました。
• そのうちの1人はそれをつかみ、私はそれが内部的にそれをロックしていると思います、2つのスレッドから来た内容のラインが決して結合されていないので、他のスレッドにアクセスできません。したがって、スレッドが書き込みを行っているときに、スレッドが完了するまで待っていて、おそらくファイルを解放する可能性があります。 したがって、競合状態は発生しません。
• 他の中で最も速いものがファイルを取得して書き込みを開始します。

まあ、それはあなたの実装が異なる場合

だから、コードを表示し、我々はそれを打破するために助けることができる.....キューイングせずに、ただバスルームの外に待機している群衆のようなものです。