Vowpal Wabbitは複数のオンラインパスでデータをシャッフルしますか？

Question

Vowpal Wabbitは、エポック/パスごとに自動的にデータをシャッフルしますか？私は、作成されたキャッシュファイルに、VWのデフォルトのオンラインSGDメソッドのようなオンラインアルゴリズムに必要なシャッフルメタデータが含まれていることを期待しています。例えば。

vw -d train.txt -c --passes 50 -f train.model 

ない場合、私は手動ですべての上のデータをシャッフルバックアップスクリプトを持っているがVWが自動的にシャッフルしない場合は、上記のコードを実行するより効率的な方法がある

# Create the initial regressor file 
vw -d train.txt -f train.model 
# For the next 49 passes, shuffle and then update the regressor file 
for i in {0..49} 
do 
    <some script: train.txt --> shuffled_data.txt> 
    vw -d shuffled_data.txt -i train.model -f train.model 
done 

を渡しますブロック？ VWのwikiは残念ながらこれに関しては不明です。ありがとう。

Answer 1

いいえ、シャッフルしません。私はそれもデータをシャッフルする価値がないと確信しています。シャッフルは非常にI/O集中的です。シャッフルなしで2回のパスとは異なるシャッフルオーダーで2回のパスを行うほうが良いかもしれませんが、コンバージェンスに関しては、シャッフルなしで10回分のコストがかかります。