int tbbメモリオーバーヘッド

Question

インテルTBB機能を使用するスレッドを再利用すると、高いメモリオーバーヘッドが発生します。あるスレッドがあるワークロードを終了すると、それぞれのメモリが解放されることが予想されました。しかし、スレッドによる作業単位の実行の間に長い休止があっても、このようには見えません。私たちは15個のワーカースレッドを起動する例で

int main() { 
    blocking_queue<size_t> command_input_queue; 
    tbb::atomic<size_t> count = 1; 
    //workers 
    std::vector<std::thread> worker; 
    for(size_t i = 0; i < 15; i++) { 
     worker.push_back(std::thread([&command_input_queue, &count](){ 
     while(true) 
     { 
      size_t size; 
      //wait for work.. 
      command_input_queue.wait_and_pop(size); 
      //do some work with Intel TBB 
      std::vector<int32_t> result(size); 
      for(size_t i = 0; i < result.size(); i++) { 
       result[i] = i % 1000; 
      } 
      tbb::parallel_sort(result.begin(), result.end()); 
      size_t local_count = count++; 
      std::cout << local_count << " work items executed " << std::endl; 
     } 
    })); 
    } 
    //enqueue work 
    size_t work_items = 15; 
    for(size_t i = 0; i < work_items ; i++) { 
     command_input_queue.push(10 * 1000 * 1000); 
    } 

    while(true) { 
     boost::this_thread::sleep(boost::posix_time::seconds(1)); 
     if(count > 15) { 
     break; 
     } 
    } 
    //wait for more commands 
    std::cout << "Wait" << std::endl; 
    boost::this_thread::sleep(boost::posix_time::seconds(60)); 

    //----!During the wait, while no thread is active, 
    //the process still claims over 500 MB of memory!---- 
    for(size_t i = 0; i < 15; i++) { 
    command_input_queue.push(1000 * 1000); 
    } 
... 

：

は、我々は問題を表示する例を用意しました。彼らはタスクを待ってtbb :: parallel_sortを行い、完了後にすべてのリソースを解放します。 問題は、すべてのタスクが処理され、すべての作業者が新しいタスクを待っても、プロセスはまだ500MBのメモリを要求しています。

valgrindの大量のようなツールでは、メモリが要求されている場所はわかりませんでした。 プログラムをlibtbb.soとリンクしました。だから、tbbのアロケータは問題ではありません。

作業者がアイドルである間に誰かがメモリを解放する方法を知っていますか？

Answer 1

通常は、deleteまたはfreeを呼び出した後、ヒープ割り当てメモリがOSに返されません。これを行うには、malloc_trimまたはアロケータ固有の関数を呼び出す必要があります。

Answer 2

TBBスケジューラは、割り当てられたアロケータにもかかわらずタスク割り当てをキャッシュしますが、500MBは説明しません。説明できることは、TBBが動的にTBBアロケータをロードすることです。そのメモリは、libtbb.soの隣にあると思います。 tbbmallocはENVのVAR TBBは、独自の労働者を作成しながら、あなたのワーカースレッドを持つマシンをオーバーサブスクライブなぜ私には奇妙に見えている何TBB_VERSION=1

を設定することによって活性化されるかどうかを確認することができますか？