3GB .tsv
をSQL Serverに挿入する最も効果的な方法は何ですか?3GBの.tsvをSQL Serverに挿入する最も効果的な方法
最初のSQL Serverでテーブルを作成し、.tsv
を挿入することが容易である場合、私はそれをプレビューしようとするたびに、私は、列名を知らない、...永遠
を取りますか?私は.tsv
のプロバイダに連絡して、正確な列名を調べることができます。
3GB .tsv
をSQL Serverに挿入する最も効果的な方法は何ですか?3GBの.tsvをSQL Serverに挿入する最も効果的な方法
最初のSQL Serverでテーブルを作成し、.tsv
を挿入することが容易である場合、私はそれをプレビューしようとするたびに、私は、列名を知らない、...永遠
を取りますか?私は.tsv
のプロバイダに連絡して、正確な列名を調べることができます。
データをSQLServerに挿入する方が高速です: https://msdn.microsoft.com/en-us/library/ms188365.aspx しかし、データスキーマを知る必要があります。
SSISは一括挿入を使用しています。 OPには、おそらくSSISまたはインポートウィザードが使用されていることを示すプレビューが記述されています –
私はあなたの最善の策は、設定された数の行を抽出し、それを使って広いキャッチオール列を見積もり、完全なデータセットの分析のために読み込むことができる表を作成することだと思います。
あなたはここで説明したような小さなスクリプトファイルでこれを行うことができます:あなたはあなたのデータ構造を理解したら、SQL Serverにデータをロードするための私の経験では最速の方法、
VBScript - skip and read lines in text file
- 遠くても最も便利なのは、一括コピープログラムユーティリティ、つまりBCPです。
https://msdn.microsoft.com/en-us/library/ms162802.aspx
スキーマがわからないときは、パフォーマンスについて話すことはできません。ファイルにヘッダー行がありませんか?とにかく、SQL ServerのSSISはほとんどのフラットファイルで動作し、列の種類についてもまともな推測をすることができます。それは 'Import Data'ウィザードの背後にあるインフラです。ウィザードは、テーブルを作成することもできます。 –
パフォーマンスは、ハードウェアとテーブルのスキーマによって異なります。たとえば、ディスクが1つの場合など、パーティション化を使用する場合などはあまり意味がありません。ロードを開始する前にインデックスを削除/無効にしてから、後で再構築してください。 –
Windowsの 'more'コマンドを使用して、ファイルの最初の35行(1つのCMD画面いっぱい)を印刷することができます。たとえば、CMDの場合、 'more filename.tsv' – Serge