並列アルゴリズム設計

Question

私は、データ配布モデルの並列アルゴリズムを設計する際に、ベストプラクティスが何かを理解しようとしています。ブロック分布に対する賛否両論とメモリ上のデータの循環分布との関係どんな助けもありがとう。

Answer 1

Quinnの「MPIとOpenMPを使用したCでの並列プログラミング」では、パラレルプログラミングでデータを配布するさまざまな方法の例が多数提供されています。ニーズに応じて、どのアプローチが最も便利かを把握するのに役立つ意思決定ツリーもあります。

Answer 2

共有メモリのブロック分散は、アルゴリズムの実行中にほとんど（または、まったく）同期を必要としないチャンクに分割するアルゴリズムに最適です。

並列アルゴリズム設計では、プロセス間の同期のボトルネックを最小限に抑えることに焦点を合わせる必要があります。一例は、グリッドがストリップ（プロセッサごとに1つ）に分割され、同期が実行されない、2-Dグリッド上のGauss-Seidel緩和法である。各プロセッサは独立した収束値を計算し、その数値に達すると終了します。

また、参照のデータローカリティも考慮する必要があります。これは、並列および順次アルゴリズムに顕著な影響を与えることができます。