vowpal wabbitはすべてのCPUコアを使用できますか？

Question

私は、10M +の列車データに--Ooa vowpal wabbitクラシファイアを訓練しようとしましたが、それは1つのコアのみを使用していることがわかりました。 12コアすべてを使用する方法はありますか？

Answer 1

VWは2つのスレッドを使用します.1つは入力データをパーズする&、もう1つは機械学習用です。 VWには、クラスタ（Hadoopなど）または単一のマシン（--span server localhost）上の複数のVWインスタンスの並列実行（AllReduce）用のspanning_treeツールが付属しています。

つまり、私は12コアでAllReduceがお金を払うには不十分だと思います。最良の結果を得るには、とにかくハイパーパラメータ検索を行う必要があります。したがって、12個のコアを使用してパラレルで実行できます。