HPCクラスタで分散サフィックスツリーを作成する方法

Question

4 GBの入力文字列のサフィックスツリーを作成したいとします。理想的には、メモリ内のツリーのサイズは約100 GBになります。私は通常のデスクトップでこれを行うことはできません。 Windows HPCクラスタでこれを行う方法はありますか？ HPCの別の計算ノードにサフィックスツリーを配布するにはどうすればよいですか？

Answer 1

はい、これは可能です。 Google Scholarはトピックにseveral papersを記載しています。このトリックは、最初のプロセッサに部分的なサフィックスを割り当てることです。各プロセッサが独立して独立してツリーのセクションを見つけることができるように選択する必要があります。これが終わったら、通常のサフィックスツリー操作をかなり効率的に行うことができます。私は実装の公開例を知らない。