2017-07-12 31 views
1

圧縮としてsnappyCodec、ファイル形式としてavroを使用して、sqoop 1.4.6を使用してRDBMSからhdfsにデータをインポートしています。私は次のように使用してHDFSにMySQLのテーブルをインポートしようとすると私は、次のコンポーネントが

のHadoopに2.8.0
スパーク2.1.0
ハイブ1.2.2
スカラ座2.11.8
カサンドラ3.10

がインストールされていますコマンド:エラー:クラスorg.xerial.snappy.Snappyを初期化できませんでした

sqoop import --connect jdbc:mysql://******:****/retail_db --username **** --password **** --table order_items --compress --compression-codec org.apache.hadoop.io.compress.SnappyCodec --target-dir /user/test/order_items --as-avrodatafile 

私は次のエラーを取得しています:

このクラスを見つけようとするとタイムアウトします。
私は、tmpをマウントし、(すでに存在している)スナッピングjarファイルを追加するなど、この問題に関して言及したソリューションを試しましたが、どれも動作しません。私が紛失しているものは何ですか?

答えて

0

いくつかの解決策を試した後、私は最終的に問題を把握しました。 sqoopコマンドで--verboseフラグを使用すると、

  1. $ HADOOP_HOME /共有/ Hadoopの/共通/ libに/
  2. $ HADOOP_HOME /株などのさまざまなコンポーネントから輸入された複数のてきぱき-xxx.jarファイルがあったことを示しました/ hadoop/mapreduce/lib/
  3. $ SQOOP_HOME/lib/
    このように3つのスナッピージャーが含まれていました。

ソリューション: 私は唯一の1ファイルが、この場合に含まれますと、エラーが解決されたことを確認しました。

関連する問題