サービスのリストから矛盾のないフォルダのセットにアクセスする方法

Question

私は共有リソースにアクセスするすべての異なるサーバーで一連のサービスを実行しています。何らかの処理が必要な動画を含むフォルダのリスト。

サービスが同時に同じフォルダにアクセスするのを防ぐためのロック機構を実装したいと思っています。これまでのところ、フォルダ内にテキストファイルを「フォルダ内ロック」として作成し、ビデオファイルを処理する前に

私は、このテストでは、サービスがフォルダを検索する実際のプロダクション設定ではうまくいかないことは確かです。

アイデア？

ご協力いただきありがとうございます。

Answer 1

Redis RedlockやConsul lockなどの分散ロックメカニズムを使用できますが、この共有フォルダに対して複数のサーバーが戦っている場合、（複数のフォルダ内のファイルをシャーディングすることは考えられません。あなたのサーバは（同じ整合性のあるハッシュアルゴリズムを使用して）専用のフォルダのためだけにファイルを処理しますか？こうすることで、すべてのN-1サーバがN番目のサーバがあなたが持っている単一フォルダ内のすべてを処理するのを待つのではなく、処理を並列化することができます。