PIGデータベースアクセス用ラテンスクリプト

Question

PIGを使用して代理キージェネレータを実装しようとしています。 最後に生成されたキーをデータベースに保持し、次に使用可能なキーをデータベースに照会する必要があります。

PIGにODBCを使用してデータベースを照会するサポートはありますか？ はいの場合は、ガイダンスやサンプルを提供してください。

Answer 1

ご質問に直接お答えして申し訳ありませんが、これはあなたがしたいことではありません。いくつかの理由があります：

• MapReduceジョブはデータベースを単一のパフォーマンスチョークポイントとして使用します（基本的にHadoopの目的を破っています）。
• speculative executionでは、同じデータが2回読み込まれるため、タスクの1つが強制終了されたときに一意の識別子が存在しません。

レコードごとにデータベースを1回押すことができれば、単一のスレッドでMapReduceを使わずにこのサロゲートキーを強化することができます。

どちらの方法でも、ハートトップではサロゲートキーや自動カウンタを作成するのは簡単ではないため、ハドープでは簡単です。