それぞれ50MBまでのロット(数TB)のファイルをキャッシュする必要があります。メモリはあまりにも高価でMemcachedはこれらのサイズをサポートしていないので、私はLRUベースのソリューションを探しています。そのソリューションは、HDDにデータを保存し、キャッシュサイズと思考の観点から水平にスケーリングすることができます。Memcached HDD相当品
このようなソフトウェアはありますか?
それぞれ50MBまでのロット(数TB)のファイルをキャッシュする必要があります。メモリはあまりにも高価でMemcachedはこれらのサイズをサポートしていないので、私はLRUベースのソリューションを探しています。そのソリューションは、HDDにデータを保存し、キャッシュサイズと思考の観点から水平にスケーリングすることができます。Memcached HDD相当品
このようなソフトウェアはありますか?
storage_fileのワニスキャッシュのようなものがあまりにも単純すぎるのでしょうか?
スケーラブルで、分散したファイルシステムを設定するのがかなり必要な場合は、MogileFS(http://danga.com/mogilefs/)を使って非常に良い結果を得ました。
AFAIKでは、ワニスクラスターを作成できますが、サーバーを増やしても、各ワニスサーバーには独自のキャッシュがあるため、全体的なストレージ容量が増えるわけではありません。私が必要とするのは、大容量(10TB +)のHDDベースのLRUキャッシングストレージです。これは、サーバーを追加することで必要なだけ拡張できます。 –
はい、ワニスとロードバランシングで解決できますが、MogileFS(上記の更新された回答)のようなものは、管理をもっと簡単にするために必要なものに似ています。 –
あなたが本当に求めているのは、分散ファイルシステムだと思います。何もキャッシュする必要はありません。動的なデータではないからです。
このようなことが考えられます。 http://learnmongo.com/posts/getting-started-with-mongodb-gridfs/
またはこの:これらのファイルがどのように生成されるか http://hadoop.apache.org/common/docs/current/hdfs_user_guide.html
? –
ユーザーがアップロードした動画。それらは単一のサーバーに格納されており、スケーラビリティはあまりありません。私はすべてのサーバーのinfrontのキャッシュ層を追加したいと思います。 –