OpenMPでスピードアップしない

Question

私はOpenMPを使って、ほぼ線形のスピードアップを持つアルゴリズムを手に入れようとしています。 残念ながら、私は希望のスピードアップを得ることができなかったことに気付きました。

私のコードのエラーを理解するために、簡単に別のコードを書いて、原理的に高速化がハードウェア上で可能であることを再確認しました。

これは私が書いたおもちゃの例である：

#include <omp.h> 
#include <cmath> 
#include <stdio.h> 
#include <stdlib.h> 
#include <time.h> 
#include <string.h> 
#include <cstdlib> 
#include <fstream> 
#include <sstream> 
#include <iomanip> 
#include <iostream> 
#include <stdexcept> 
#include <algorithm> 
#include "mkl.h" 

int main() { 
     int number_of_threads = 1; 
     int n = 600; 
     int m = 50; 
     int N = n/number_of_threads; 
     int time_limit = 600; 
     double total_clock = omp_get_wtime(); 
     int time_flag = 0; 

     #pragma omp parallel num_threads(number_of_threads) 
     { 
      int thread_id = omp_get_thread_num(); 
      int iteration_number_local = 0; 
      double *C = new double[n]; std::fill(C, C+n, 3.0); 
      double *D = new double[n]; std::fill(D, D+n, 3.0); 
      double *CD = new double[n]; std::fill(CD, CD+n, 0.0); 

      while (time_flag == 0){ 
       for (int i = 0; i < N; i++)      
        for(int z = 0; z < m; z++) 
         for(int x = 0; x < n; x++) 
          for(int c = 0; c < n; c++){ 
           CD[c] = C[z]*D[x]; 
           C[z] = CD[c] + D[x]; 
          } 
       iteration_number_local++; 
       if ((omp_get_wtime() - total_clock) >= time_limit) 
        time_flag = 1; 
      } 
     #pragma omp critical 
     std::cout<<"I am "<<thread_id<<" and I got" <<iteration_number_local<<"iterations."<<std::endl; 
     } 
    } 

私はこのコードが高速化を確認しようとするだけのおもちゃ-例であることを改めて強調表示したい：とき数サイクルの最初は短くなり（Nが減少するので）増加する。

しかし、私が1から2-4のスレッドに行くと、期待どおりに反復回数が倍増します。しかし、これは私が8-10-20のスレッドを使用する場合には当てはまりません。反復回数はスレッドの数に比例して増加しません。

私にこれを手伝ってもらえますか？コードは正しいですか？私は、ほぼ直線的なスピードアップを期待する必要がありますか？私は以下の結果を得た上でコードを実行する

結果

。

スレッド1回：23回繰り返します。

20スレッド：スレッドごとに397-401反復（420-460ではなく）。

Answer 1

並列領域内にいくつかの宣言を行います。これは、メモ領域を割り当ててnumber_of_threads回埋め込むことを意味します。代わりに私はあなたにお勧めします：

double *C = new double[n]; std::fill(C, C+n, 3.0); 
double *D = new double[n]; std::fill(D, D+n, 3.0); 
double *CD = new double[n]; std::fill(CD, CD+n, 0.0); 
#pragma omp parallel firstprivate(C,D,CD) num_threads(number_of_threads) 
    { 
     int thread_id = omp_get_thread_num(); 
     int iteration_number_local = 0; 
    } 

ハードウェアにはプロセッサのコア数に応じて限られた数のスレッドしかありません。あなたは2つまたは4つのコアを持つかもしれません。

並列領域はコードを高速化しません。 OpenMPを開いてループを高速化するには#omp parallelを使用するか、

#pragma omp parallel 
{ 
    #pragma omp for 
    { 
    } 
} 

この表記は#pragma omp parallel forと同じです。 forループをより速く進めるために、いくつかのスレッドを使用します（ハードウェアに依存します）。気をつけて

#pragma omp parallel 
{ 
    for 
    { 
    } 
} 

は、あなたのプログラムをスピードアップしません、各スレッドのためのforループ全体を行います。

Answer 2

あなたは

#pragma omp parallel num_threads(number_of_threads) 
    { 
     int thread_id = omp_get_thread_num(); 
     int iteration_number_local = 0; 
     double *C = new double[n]; std::fill(C, C+n, 3.0); 
     double *D = new double[n]; std::fill(D, D+n, 3.0); 
     double *CD = new double[n]; std::fill(CD, CD+n, 0.0); 

     while (time_flag == 0){ 
      #pragma omp for 
      for (int i = 0; i < N; i++)      
       for(int z = 0; z < m; z++) 
        for(int x = 0; x < n; x++) 
         for(int c = 0; c < n; c++) 
          CD[c] = C[z]*D[x]; 
      iteration_number_local++; 
      if ((omp_get_wtime() - total_clock) >= time_limit) 
       time_flag = 1; 
     } 
     if(thread_id == 0) 
     iteration_number = iteration_number_local; 
    } 
    std::cout<<"Iterations= "<<iteration_number<<std::endl; 
} 

Answer 3

あなたの測定方法が間違って試してみてください。特に反復回数が少ない場合。

1スレッド：3回繰り返します。

3は、実際に2反復未満120秒で終了することを意味反復を報告しました。 3番目の方が長くかかりました。 1回の反復の時間は40〜60秒です。

2スレッド：スレッドごとに5回の繰り返し（6回ではなく）。

4回の反復が120秒以内に終了しました。 1反復の時間は24〜30秒です。

20スレッド：40-44スレッドごとの反復（60ではなく）。

40回の反復が120秒以内に終了しました。 1回の反復の時間は2.9〜3秒である。

あなたの結果が実際に直線的なスピードアップに矛盾しないことがわかります。

単純に1つの外側ループを実行して時間を計るだけで、ほぼ完璧なリニアなスピードアップが実現します。

いくつかの理由（非網羅）あなたは、線形スピードアップが表示されない理由は以下のとおりです。

1. メモリーバインドのパフォーマンス。あなたのおもちゃの例では、n = 1000ではありません。より一般的な話題：共有リソース（メインメモリ、キャッシュ、I/O）の競合。
2. スレッド間の同期（クリティカルセクションなど）。あなたのおもちゃの例ではそうではありません。
3. スレッド間のアンバランスをロードします。あなたのおもちゃの例ではそうではありません。
4. ターボモードは、すべてのコアが使用されているときに低い周波数を使用します。あなたのおもちゃの例でこれが起こります。

あなたのおもちゃの例からは、OpenMPのアプローチは、高水準の抽象化を使用して改善することができます。 for。

一般的なアドバイスは、このフォーマットでは広すぎるため、非おもちゃの例に関するより具体的な情報が必要です。