処理大きな文書

Question

• いくつかの大規模な文書（20〜50メガバイト）は、サーバー側に保存されています。
• サードパーティ製のプログラムを使用して、ドキュメントを読み込んで照会することができます（約3秒かかる）。
• サードパーティ製のプログラム（特定のスレッド）によって1つのドキュメントしか読み込めません。
• クライアントは、ロードされたドキュメントの1つのクエリ結果を表示するよう要求できます。

各クライアントのHTTP要求に応じて文書を読み込み回避する最善の方法は何ですか？ これらの読み込まれたドキュメントをすべてメモリに保存するのは理にかなっていますか？ 「はい」の場合は、各スレッドがドキュメントを保持しているスレッドプールが必要ですか？ いいえの場合、他のオプションは何ですか？

（ジャワでの作業 - Tomcatの - Ubuntuの）

Answer 1

私はいくつかのキャッシングを行うためにあなたのTomcatの前に別のサーバを置きます。これを自分で実装すれば、問題にぶつかるはずです。セットアップは、次のようになります。あなたはHTTPSが必要な場合は（私が思い出したように）それがSSLをサポートしていないよう

Client→Varnish Caching Server→Apache HTTP Server→Tomcat

は、あなたはニスの前に別のサーバを置くことを検討してください。そして、それはこのようなことがあります

Client→Pound→Varnish Caching Server→Apache HTTP Server→Tomcat

あなたは、ルール言語のいくつかの種類で広範囲にニスを設定することができます。それはあなたに非常にきれいに役立つでしょう。

ポンドはあなたがSSLおよび/または負荷分散を終了させるために使用できるだけの小さなリバースプロキシです。

リンク：

アパッチ：http://httpd.apache.org/

ニス：https://www.varnish-cache.org/

ポンド：http://www.apsis.ch/pound

Answer 2

あなたが外部プログラムによって文書を処理する場合には、テレは、あなたがすることができるということはあまりないです キャッシュ処理の結果はどこかにあります。もう1つの選択肢は、文書を前処理し、すべての可能なクエリー結果を保存して後で取り出すことです。

すべての要求に対して外部プロセスをフォークすることは明らかに最悪の選択です。

データがinsiede web applicatonで処理され、不変の場合、 ファイルをバイトバッファにmmapして再度処理できます。この方法で、ロードを節約し、 のデータをJVMに割り当てます。

そして、あなたのクエリがデータを変更しないので、スレッドを分離するためにそれらをプッシュする必要はありません - 彼らは