Hiveにジャーを入れる方法（Amazon Hadoop env）

Question

ハイブにもっと新しいprotobuf jar（2.5.0より新しいもの）を入れる必要があります。何とか私が瓶を置く場所に関係なく、それはクラスパスの終わりに押し込まれています。どのようにして瓶がハイブのクラスパスの始まりに入っていることを確認できますか？

Answer 1

それはクラスパスの先頭に含まれ、次のEnv変数を設定する必要があるいくつかのHadoopジャーによって過負荷にいないように、ハイブのクラスパスに独自のjarファイルを追加するには -

輸出HADOOP_USER_CLASSPATH_FIRST =真

これは、HADOOP_CLASSPATHが一般的なハープ・ジャーよりも優先されることを示しています。

Amazon EMRインスタンスでは、これを/home/hadoop/conf/hadoop-env.shに追加し、このファイルのクラスパスも変更できます。

これは、hadoopの一般的なクラスパスに付属するprotobufのようなジャーをオーバーロードしたいときに便利です。

Answer 2

もう1つのことは、あなたのjarファイルにprotobufクラスを含めることです。アセンブリプラグインを使用してjarファイルをビルドする必要があります。そのオプション。