データアーカイブソリューション

Question

バックエンドで約130のテーブルを持つmysqlを使用してアプリケーションをセットアップしました。現在、合計サイズは30-40GBを超えており、急速に成長しています。

私たちのdbは最適化されていますが、データベースのサイズのためにパフォーマンスが低下すると考えています。

データをアーカイブするプロセスを実装する必要があります。ちょっと読んだ後、すべてのアーカイブ可能なデータをhadoopにプッシュできます。私が知る必要があるのは、取得するためにhadoopに直接ヒットする方法です。私のバックエンド（CodeIgniterの、CakePHPは、ジャンゴ等...）おかげ

Answer 1

からのデータは、私は、あなたは、Apache Sqoopを試みることができると思う：http://sqoop.apache.org/

Sqoop 1は、本来のHadoopへのリレーショナルデータベースからデータを移動するために設計されました。 Sqoop 2はより野心的で、任意の2つのソース間でデータを移動することを目指しています。