sqoop

0熱

1答えて

cloudera hadoop UIを使用してsqoopインクリメンタルを自動化

timestamp以外のカラム値を使用してsqoopのインポートを自動化する方法はありますか？テーブルに1列（ID）を使用しようとしました。しかし、それは動作しませんでした。以下はサンプルコードです。私はcloudera hadoop UIを使用して自動化しています。問題は、最後の値が自動的に更新されないことです。以下 import --connect jdbc:mys

0熱

1答えて

sqoopインポートクエリで重複した名前エラーが発生する

mysqlにmovie、moviegenre、genreという3つのテーブルがあります。私はsqoop自由形式のクエリ使用してHDFSにインポートしようとすると： sqoop import --connect jdbc:mysql://localhost/movielens --username user --password *** --query 'select m.id as id,m.n

-1熱

1答えて

Kerberosセキュリティはクーロンで働いていないとSqoop、私はエッジノードからsqoopジョブを実行する場合てGSSException

を投げ、その作業罰金とOracleからデータを抽出することができるが、私はcrontabファイルに同じジョブをスケジュールするとき、それは、Kerberosセキュリティエラーがスローされます。私は（リンクを参照してください）hortonworksサイトで報告された同じ問題を見つけましたが、任意の有効な答えを持っていません。 https://community.hortonworks.com/qu

0熱

2答えて

SqoopからOracleストアドプロシージャを呼び出すことができません

OracleストアドプロシージャをSqoopから呼び出したいのですが、エラーが表示されます。私はストアドプロシージャの関数を呼び出す必要があり、パラメータを渡す必要があります。 $: sqoop import --connect jdbc:oracle:thin:@localhost:1512/db --username userA --password password --call Oracl

0熱

1答えて

Sqoopインポートmysqlをハイブにインポートする、データが不正です

sqoopを使用してmysqlからハイブをインポートしました。終了したら、いくつかの列が正しくない列が見つかりました。ここで bin/sqoop import -Dhadoop.security.credential.provider.path=mypath --table mytable --hive-overwrite --hive-table myhivetable --username

0熱

1答えて

新しいレコードのSqoopインクリメンタルインポート

emp_Id = 6が存在せず、Sqoopジョブを作成して追加モードで増分Sqoopを実行した1から10までのemp_idで構成されるテーブルがあります。この後、次の2つの新しいemp_idが追加されました。つまり、emp_id=6とemp_id = 12です。私の質問は、emp_id =6をインクリメンタルにインポートするか、それともemp_id = 12だけインポートするのでしょうか？

1熱

1答えて

Javaファイルを自動生成する方法は？

私はSqoopを使ってMySQLとHDFSの間でファイルをインポートする作業をしています。私が働いているとき、2つのJavaファイルが私のホームディレクトリに自動生成されました。ファイルを開くと、Sqoopコマンドと同じ作業をするコードが含まれていました。以下は私のsqoopコードです sqoop import --connect "jdbc:mysql://quickstart.cloudera

0熱

2答えて

SQOOP - インポート失敗：ヌル文字列からパスを作成できません

SQOOPインクリメンタルアップデートを使用して、SQLサーバからHBaseテーブルにテーブルをロードしています。ただし、SQLテーブルのNULL値はHBaseにインポートされません。私はHbaseはnull値をサポートしていないことを理解し、nullを含むフィールドはHbaseに存在しないはずです。しかし、私の関心事は、特定の列が、レコードのいくつかに値がある場合でも、ほとんどのレコードのNUL

0熱

1答えて

SparkでHadoop Credential providerを使用してOracleデータベースに接続する方法は？

私はSparkとOracleだけでなく、SqoopとOracle間の安全な接続を確立しようとしています。私の研究の後、私は2つの異なるセットアップのための2つの異なるオプションを見つけました。パスワードがspark.jdbc.b64password、さらにを使用して暗号化されているOracleにスパークを接続それはスパークコードで復号し、JDBC URLで使用されています。 Hadoop資格プロ

1熱

1答えて

Cloudera - Sqoop codegenカスタムORMクラス（インポート時）

Cloudera環境に新しく、Sqoopを使用してRDBMSからデータをインポートしようとしています。インポート中にデータにいくつかの変換を適用する必要があります。具体的には、Hadoop DFSに格納する前にいくつかのフィールドを暗号化する必要があります。これを達成するために、私が変更できるORM javaクラスを生成するcodegenコマンドを使用しようとしています。 MySQLデータベースに