テキストファイルをJavaのメモリにロード

Question

wiki.txtファイルがあり、そのサイズは50 MBです。

1. 正しいということですが、私は、ファイルにいくつかのことを行う必要がありますので、私はパフォーマンスの面で最善の方法は、メモリにファイルをロードすることであると思いましたか？ mapByteBuffer.get()：私はこのコードのエラーを取得します

   File file = new File("wiki.txt"); 
   FileInputStream fileInputStream = new FileInputStream(file); 
   FileChannel fileChannel = fileInputStream.getChannel(); 
   MappedByteBuffer mapByteBuffer = fileChannel.map(FileChannel.MapMode.READ_ONLY, 0, file.length()); 
   System.out.println((char)mapByteBuffer.get()); 
   

：

は、これは私が書いたコードです。 get（）関数にいくつかのオプションを試しましたが、それらのすべてがエラーになり、e.getMessage（）でエラーが発生しませんでした。

私のテキストファイルには英語の単語が含まれています。私がする必要のある操作は、このテキストファイルに存在すると検索されたものです。

ありがとうございます。

Answer 1

私はそれをメモリにロードするのではなく、ディスクから直接ファイルを読み取るために、メモリマップトファイルを使用してお勧めします。

RandomAccessFile file = new RandomAccessFile("wiki.txt", "r"); 
FileChannel channel = file.getChannel(); 
MappedByteBuffer buf = channel.map(FileChannel.MapMode.READ_WRITE, 0, 1024*50); 

そして、いつものようにバッファを読み取ることができます。

Answer 2

私はBufferedReaderを使用することをお勧めします。それははるかに高速で、比較的少ないリソースしか必要としません。ラインの 最初の読み出し番号：

InputStream is = new BufferedInputStream(new FileInputStream(filename)); 
byte[] chars = new byte[1024]; 
int numberOfChars = 0; 
while ((numberOfChars = is.read(chars)) != -1) 
{ 
    for (int i = 0; i < numberOfChars; ++i) 
    { 
     if (chars[i] == '\n' && numberOfChars - i != 1) 
     { 
      ++count; 
     }   
    } 
} 
count++ 
return count; // number of lines 

はその後の行を読んで：あなたも、あなたが必要なものを検索することができます。この文字列で

BufferedReader in = new BufferedReader(new FileReader(fileName)); 
for (int i = 0; i < endLine; i++) 
{ 
    String oneLine = in.readLine(); 
} 

。

Answer 3

ポイントのための私の答えは（1）：

それはあなたがファイルに何をしたいかに依存します。処理の巻き戻し操作が含まれていない場合（読み込み中/読み込み中）は、ストリームとして読み込み、すべてをメモリにロードするのではなく、一度に処理することをお勧めします。

あなたのソリューションは、ときだけでなく、より大きなサイズのファイルサイズの変更をスケーリングない可能性があるため、ファイル全体でランダムアクセスを必要とする場合でも、あなたはまた、ブロックのファイル操作をすることに興味があるかもしれません。 Java 1.4以上であれば RandomAccessFileです。 ランダムアクセスの場合、オペレーティングシステムは通常、ファイルバッファのキャッシュを処理します。自分で処理する必要はありません。

Answer 4

メッセージだけでなく、エラー全体を読むことが重要です。多くの場合、実際の情報は例外の名前に関連付けられているテキストではありません。

最初のバイトがないため、ファイルが空の場合はエラーが発生します。

注：使用しているアプローチは、ASCII 7ビット文字を前提としています。 ISO-8859-1文字を使用したい場合は、(char) (byteBuffer.get() & 0xFF)

となりますが、文字列を使用すると、使用するのが簡単になり、速度もそれほど遅くならないことがあります。例えば1秒未満でテキストとして50 MBのファイルを読むことができます。これはあまりにも長い場合私はメモリマップされたファイルを使用します。