Javaアプリケーション（バニラデータ処理）パフォーマンスの最大化

Question

この問題を初めて経験したわけではありません。

私は、Java Mission ControlでFlight Recorderの記録を見て、Scala/Javaコードを最適化しています。一番ホットな方法、次にメモリ割り当てを見てみると、アプリケーションの実行速度は50倍、または3倍速くなります。

これまでのところ、CPU使用率は60〜90％で、メモリ使用量は最大4GBヒープのうち2GBです。しかし、私はより多くのスピードを追い出すことができると思う。

特性：

• シングルスレッド処理、ファイルシステムから1つのファイルを読み込みます。
• ファイルシステムの読み取り速度が1GB/sであるが、処理速度が5MB/s（分岐、ステートマシンなど）であるシーケンシャル読み取り。
• できる限りガベージコレクションを最小限に抑えました。
• 純粋なJVMコードのファンシーライブラリはありません。 1つのアプリケーションで

  for line in file // using an iterator which would call into a file 
      result = process_line(line) 
      state = state.process(result) 
      if state.emits: 
      println(state.result) 
  

  私は、次の最もホットなメソッドを持っています：：他には

  scala.collection.immutable.HashMap$HashTrieMap.getO(Object, Int, Int) 6.75% 
  java.io.BufferedInputStream.read() 4.97% 
  

  （これは私の上からである

コードは大体この（擬似コードで）のように見えますヘッド）：

(some sort of garbage collection process) 9% 
...  7% 

これらを発する？私は試してみて、はるかに複雑なコードのパフォーマンスの向上はほとんど得られませんでした。

次はどこですか？

process_line()を1つのスレッドで実行してから、コンテキスト切り替えを最小限に抑えるために別のスレッドでその状態を反復する必要がありますか？おそらくそれが物事を遅らせるものでしょうか？

これについて正しい方法は何ですか？私はまだ問題自体を並列化したくありません。

Answer 1

私は読者を並列化します。

データがディスク上にある場合は、ディスクからチャンク単位でデータを読み取るスレッドと、それを処理するスレッドを作成できます。これは、Java Mission Control 4が記録ファイルを読み込む方法です。あるいは、Java Mission Control 5のように、複数のスレッドから読み込んだRandomAccessFileを使用して、結果を一緒にステッチすることもできます。