2016-09-14 32 views
0

私はPostgreSQLデータベースを持っています。データベースには72のテーブルがあります。列の総数はより大きい。そして私はこのすべてのデータをElasticsearchにインデックスし、その上でboolクエリを実行できるようにしたいと思います。Elasticsearchのデータを非正規化する

denormalize私のDBデータにはどのような方法が最適ですか? PostgreSQLからすべてのデータを結合してインデックスを作成するために、どのツールを使用できますか?

limits:テーブルとローサイズごとにカラムがあるため、PostgreSQL側でデータを結合するのは問題があります。 はまた、私はPandasを試してみましたが、パフォーマンス上の問題があります:Join all PostgreSQL tables and make a Python dictionary

答えて

0

あなたはlogstash JDBC入力を使用してデータを同期するために出力をelasticsearchことができます。https://www.elastic.co/blog/logstash-jdbc-input-plugin

+0

あなたは、合計で250個の列の上に(すべてのテーブルを結合することを意味します)PostgreSQL側で?もしそうであれば、PostgreSQLではテーブルあたりの総カラム数に制限があり、私の場合はそれに達します。 – trex

関連する問題