私は600レコードのファイルを持っています。これはデータベースから1500万レコードと比較する予定です。それぞれの優れたレコードについて、私は1500万レコードから試合を見つける必要があります。現在、プロセスの完了には約4時間かかります。私は少なくとも2時間それを最小化したい。1500万レコードで高速検索する方法
-3
A
答えて
4
- 輸出は、MySQLにインポートするCSV(LOAD)
- は15Mレコードことを確認して、キー列(あなたは15Mレコードと比較したい1)
- にインデックスを作成してCSV に
- エクセルテーブルには、比較キーに適切なインデックスが設定されています。
- 2つのテーブルを必要な条件で結合する簡単なクエリを作成します。
これらの点はすべて非常に些細なものであり、読者には練習問題として残されています。
1
インデックスがを行っていない場合
をお試しください: はあなたが比較されているフィールド全体にインデックス付けを行い、その結果は、魔法のだろう。
可能であれば、LIKEクエリを使用してWHEREクエリのシーケンスを変更しないでください。
例:WHERE city = "New York" AND name LIKE "XYZ" AND mobile=7777777777 AND status=1
それは
WHERE status=1 AND mobile=7777777777 AND city = "New York" AND name LIKE "XYZ"
のようなフラグのSEQUENCEである必要があり、最後に同じようなVARCHARその後、その後、文字、それは多くの重要その後、int型。
+0
私はこれを試してみましょう。私は非常に奇妙なシーケンスがあります。 suggetionのおかげで –
関連する問題
- 1. mongodbコレクションの高速検索方法
- 2. CouchDBは毎日1500万レコードを処理できますか?
- 3. 逆索引検索を高速化する方法は?
- 4. AudioInputStream - 高速検索
- 5. MySQLテーブルで検索を高速化する方法(No Index)
- 6. 検索は速く、検索は遅くSSMSの検索が高速です。
- 7. Excelファイルの文字列を高速検索する方法
- 8. 製品の検索クエリを高速化する方法
- 9. 1000万件以上のレコードを持つ高速更新データベース
- 10. 高速ハッシュアルゴリズムの検索
- 11. DynamoDBの高速検索
- 12. Mysql対高速検索
- 13. JAXBオブジェクトの高速検索
- 14. 高速挿入検索
- 15. 高速な検索後、サブプロセス
- 16. JTableの高速検索アルゴリズム
- 17. SQLサーバー2008高速検索
- 18. Python - 高速ファイル検索
- 19. リストビューの検索を高速化する
- 20. ノードサーバーからエラーなしでmysqlに1500万のデータポイントを挿入する方法
- 21. Silverlightでの高速ビットマップレンダリングの検索
- 22. Visual Studioでの高速検索コード
- 23. QTableWidget行による高速検索
- 24. pandas dataframe str.contains検索の高速化の方法
- 25. Rで変数を高速に検索する方法はありますか?
- 26. Rのデータフレームで120万行のJSONクエリを高速に処理する方法
- 27. Sql何百万ものレコードを検索します。可能?
- 28. データベース上で高速検索(googleのような)を実装する方法。
- 29. Cでファイルを高速に検索して検索する方法を探しています#
- 30. 非常に大きなファイル数万のIDEで使用する高速部分文字列検索アルゴリズム
私はデータを検索するのに5列を使用しています。私がcsvをmysqlにインポートするとどうすれば助けになるのですか、実際には次のステップは一致するデータをExcelファイルに書き込むことです。現在、PHPを使用して各レコードを読み取り、1500万レコードと比較しています –
内部のmysql検索がファイルをループしてからPHPを実行し、mysqlを実行するよりも何百倍も高速です。現在の方法で、フォークを使ってスープを食べようとしています。私はあなたにスプーンを見せている。私が言っていることを却下する前に、試してみてください。 –
そして、mysqlでデータをインポートすることができるので、それをCSVにエクスポートして、そのプロセスを逆に行うことができます。 –