VerticaCopyStreamは非常に遅い

私はverticaにテーブルを定義せずにjsonをロードするためにvertica flexテーブルを使用していますが、ロード時間に問題があります。私はJDBCドライブで私にVerticaに接続し、このコードを使用VerticaCopyStreamは非常に遅い

String copyQuery = "COPY schema.tablename FROM STDIN PARSER fjsonparser()"; 
VerticaCopyStream vstream = new VerticaCopyStream((VerticaConnection)conn, copyQuery); 
InputStream input; 
vstream.start(); 
for(JsonNode json : jsonList){ 
    input = new ByteArrayInputStream(json.toString().getBytes()); 
    vstream.addStream(input); 
    input.close(); 
} 
vstream.execute(); 
vstream.finish();

コマンド「vstream.execute（）は、」5000 jsonsために12秒かかりますが、私は、ファイルからCOPYコマンドを使用するときに1秒未満で実行されます。

出典

2016-05-25 royb

高速で実行されるCOPYコマンドの場合。あなたはバーチカの断絶者からそれを走らせましたか？ – elirevach

いいえ、私は私のローカルコンピュータから実行します。テキストファイルを使ってサーバーからCOPYコマンドを実行すると、1秒未満で実行されます。 – royb

明確にするためです。あなたのコピーコマンドテストはcsvファイルで行い、VerticaCopyStreamはjsonであるか、または両方ともjsonですか？ – elirevach

あなたの問題はVerticaCopyStreamではなく、問題はあなたが使用した別のパーサに関してです。リンゴとリンゴを比較する必要があります。JSONパーサーは単純なCSVパーサーよりも遅くなければなりません。

出典

2016-05-29 07:33:07 elirevach

からCOPYコマンドを使用して、それが真であることを遅らせることです！ =（ – royb

あなたのコメントについては確信していません。ちょうどCSVでjsonファイルの長さを入力してください。ネットワークオーバーヘッドと余分な解析について考えてみましょう。 – elirevach

あなたはそれが問題にクライアントから

出典

2016-06-03 15:47:22 royb

COPY FROM STDINとCOPY LOCALストリームデータを解くVSQL useingでSAMRインサートを実行する場合。 COPY（LOCALまたはSTDINなし）だけでサーバー上で実行すると、ネットワーク遅延なしで直接Verticaデーモンから直接ロードされます（ローカルディスクであり、NASではなく）。

さらに、ByteArrayInputStreamを元に戻す方法では、jsonListをInputStreamに変換して、すべての項目の入力ストリームを作成する代わりに、そのストリームを渡す方が良いでしょうか？

出典

2016-06-29 16:09:44 woot

VerticaCopyStreamは非常に遅い

答えて

関連する問題