source <.sql file>
を使用して、1つの.sql
ファイルを使用して、約10億レコードをMySQL(Amazon RDS)にインポートしようとしています。動作中に接続が切断されています。大きなデータをインポート中に接続が失われる
どうすればできますか?それを行うには
source <.sql file>
を使用して、1つの.sql
ファイルを使用して、約10億レコードをMySQL(Amazon RDS)にインポートしようとしています。動作中に接続が切断されています。大きなデータをインポート中に接続が失われる
どうすればできますか?それを行うには
一つの方法は、ローカルのMySQLデータベースにデータをインポートすることです
おかげで、それはその後、RDSにそれを同期するためにレプリケーションを使用し、Amazon EC2インスタンスにインポートを使用し、データベースサーバをシャットダウンします。これはアマゾンのimporting a large database to RDSのドキュメントにあります。
私はすでにそれをやっていると思いますが、私はEC2インスタンスを使って他のマシンのRDSに接続しています。そして、EC2インスタンス内で 'ソース
小さなセットに分割して読み込みます。 –
私のmysqlクライアントが単一のSQLファイルにダンプしていますが、手動でSQLファイルを作成することをお勧めしますか? – Volatil3
この場合、エクスポータ(例えばキー範囲で分割)、または1 x(数千のレコード)から1 dbから選択するだけの小さなプログラムを作成し、バッチステートメントを使用してamazon dbに挿入します(書き出しコードは、インポートコードを書くのはもう10分の作業です) –