2016-06-22 22 views
0

皆さん、十分な大きさのファイルのデータをmySqlデータベースに効率的にアップロードする方法を提案してください。だから私は2つのファイル5,85Gbと6Gbのデータがあります。アップロードのために、私は `LOAD DATA LOCAL INTO FILE 'を使用しました。最初のファイルはまだアップロードされています(36時間)。現在のインデックスサイズは7,2 GBです。大きなファイルからデータベースにデータを効率的にアップロード

1)データはLile:{string、int、int、int、int}の形式になっています。私はこのint値を必要としないので、タイプの1つのフィールドを持つテーブルを作成しました。varchar(128)、私のクエリはLOAD DATA LOCAL INFILE "file" INTO TABLE "tale"なので、データは正しいでしょう(intフィールドのない文字列のみを意味します)。

2)次回の読み込み時間が大きいほどインデックスが大きい。だから、私は何か間違っている?私は、私が必要としていることを意味します。その文字列の中で高速検索が必要です(最終的にespicially)。したがって、すべての文字列は正確に5つの単語を持つので、すべての単語を異なる列(n行、5列)に配置します。

ご提案ください。

答えて

0

データをテーブルにロードした後は、インデックスを今すぐ削除し、インデックスを再作成できます。私はこれがうまくいくと思います。

レクリエーションには時間がかかります。

関連する問題