NIfi：大きなテーブルを取り込む方法

-2

私は、QueryDatabaseTableまたはExecuteSQLを使ってnifiに大きなテーブルを取り込もうとしています。それは動作していないようです..同じクエリは、小さなテーブルで動作します。NIfi：大きなテーブルを取り込む方法

思考？

ありがとうございました

2016-09-13 shree

どのようなエラーが表示されていますか？次に実行していることがあります。

https://issues.apache.org/jira/browse/NIFI-1251

あなたがGenerateTableFetchプロセッサを使用することができますNiFi 1.0を使用している場合。それはあなたが "ページ"（別名パーティション）サイズを選ぶことを可能にし、それぞれがデータの "ページ"をつかむSQLステートメントを生成します。それらをExecuteSQLにルーティングすると、一度に小さな結果セットを取得します。 NiFiクラスタを使用している場合は、同じクラスタのInput Portを指すRemote Process GroupにGenerateTableFetchをルーティングします（クラスタ全体にSQL文を配布します）。その後、入力ポートをExecuteSQLに接続できます。これにより、テーブルから並列に行をフェッチすることができます。

出典

2016-09-13 15:21:53 mattyb

GenerateTableFetch

GenerateTableFetch GenerateTableFetch [ID = 245bd83a-0157-1000-73ab-275171c79348] java.sql.SQLExceptionというによるCATALOG_SALESからSQL SELECTクエリSELECT COUNT（*）を実行することができないと数値オーバーフローを取得します。数値オーバーフロー：java.sql.SQLException：数値のオーバーフロー

出典

2016-09-13 16:31:04 shree

テーブルの大きさはどれくらいですか？ [GenerateTableFetch code]（https://github.com/apache/nifi/blob/master/nifi-nar-bundles/nifi-standard-bundle/nifi-standard-processors/src/main/java/org）のように見えます。 /apache/nifi/processors/standard/GenerateTableFetch.java#L199）は、行数を 'int'にキャストしています。 – James

@shreeあなたはこの情報をあなたの質問に追加するべきです、それは答えではありません。 –

NIfi：大きなテーブルを取り込む方法

答えて

関連する問題