2017-10-02 10 views
0

私は膨大な数のzipファイル(タイムスタンプで名前が付けられています)を持っています。これは、解凍されたときに基本的に区切られたテキストファイルです。私はこのデータをすべてカッサンドラ(一度のダンプ)に持っていかなければなりません。ZippedファイルからCassandraへのデータ

zipファイルの数が膨大であるため、私はカサンドラに抽出されたファイルをリダイレクトする代わりに、直接のカサンドラにロードする前に、ローカルに再びそれを保存することができる方法が

+0

コンテンツをストリーミングする必要がありますPythonが区切って区切られたテキストをzipしてから、それを解析して、それに対してクエリを送信します。それ以外の場合は、ファイル全体を抽出する必要があります –

答えて

1
(私はこれのためのpythonを使用しています)?あり

ファイルがコンマで区切られ、テーブルスキーマと一致する場合(または任意のさまざまなコマンドラインツールを使用して作成できます)、解凍出力をcqlsh --execute 'COPY ks.table FROM STDIN'にパイプすることを検討します。

関連する問題