sqoop

1熱

1答えて

sqoopを使用して、Oracleデータベースからデータを抽出します。HDFS。人々はSQLテーブルに定期的に新しい行を更新したり追加したりしていました。私はsqoopインクリメンタルインポート--appendと--last modifiedオプションを知っています。私の質問は、同じインポートステートメントで両方のオプションを使用できるかどうかです。例えば、 sqoop --increment

0熱

1答えて

ウォレット付きSqoopインポート

Cloudera CDH 5.8.5のSqoop v1.4.6でのウォレットの使用に関するいくつかの問題に直面しています。私たちのシナリオ：ユーザーフォルダ：/ホーム/ myuserの財布フォルダ：/ホーム/ myuserの/財布（のcwallet.sso、cwallet.sso.lck、ewallet.p12と、ewallet。財布はよく、私は sqlplus /@MY_TNS_NAME

0熱

1答えて

Sqoopのダイレクトコネクタとは何か

Sqoopジョブは、特定のデータベースのJDBCドライバとともにコネクタを使用してデータベースに接続しています。しかし、ダイレクトオプションを有効にすることでSqoopのドキュメントで述べたように、 'mode import.Howは、JDBCドライバを使用する通常のコネクタとは異なります。私はドキュメントを読みましたが、明確な理解は得られていません。 Teradata用のダイレクトコネクタもあり

-1熱

2答えて

SqoopからJAVA API

私たちはmysqlからHDFSへのデータをsqoopしようとしています。コードを実行すると、データはローカルファイルシステムに格納されます。データはHDFSに保存されます。誰でも次のコードを提案できますか？ SqoopOptions options = new SqoopOptions(); options.setConnectString("jdbc:mysql:hostname/db

0熱

1答えて

2TBテーブルをRDSインスタンスからS3またはHiveにエクスポートする方法は？

RDSインスタンス（MySQL 5.7）からS3（csvファイル）またはHiveにテーブル全体を移行しようとしています。表には合計2TBのデータがあります。また、zipファイルを格納するBLOB列（通常は100KBですが、5MBに達することがあります）があります。私はSpark、Sqoop、AWS DMSでいくつかのテストを行いましたが、すべてに問題がありました。これらのツールを使用してRDS

1熱

1答えて

sqoopの出力をローカルのテキストファイルにエクスポートする

mysqlテーブルの行数を取得し、データの数をローカルマシン上のテキストファイルに取得しようとしています。私は、以下のコマンドを使用しています：私は次の出力を取得しています sqoop-eval --connect jdbc:mysql:url -username -password \ --query"select count(*) from test" >> data.txt

0熱

2答えて

sqoop import sqlサーバーはdboテーブルのみを検出しました

SQOOPを使用してSQL Serverからデータをインポートしようとしました。私は Sqoopリスト-物語だけDBOでテーブルを見つけた奇妙な状況を発見した。****、それ以外の、Sqoopはを一覧表示することはできませんが、SQLサーバー上で、私は他のテーブルが List of Tables from the SQOOP commandを記載されている見ることができます List of Ta

0熱

1答えて

sqoopのインポートは、正しいSQLクエリに対して間違った結果を返します

MySQLの下のようなクエリを使用しています。私は望みの結果を得ています。 select TABLE_NAME,count(column_name) as no_of_columns from information_schema.columns where TABLE_SCHEMA = 'testing' and TABLE_NAME NOT REGEXP 'temp|bkup|RemoveMe

0熱

2答えて

減速機の数はsqoopで

sqoopにはいくつのデフォルトマッパーと減速機がありますか？（4マッパー、0レデューサー）。 --whereまたは--queryの条件をsqoop importに使用すると、そこにはいくつのレデューサーが含まれますか？ローカルクラスタでは、sqoopあたりユーザーガイドとして、ほとんどのデータベース・ソースから並列にSqoopインポートデータを--where or --query condi

1熱

1答えて

oozieが失敗しましたdbドライバ・クラスをロードできませんでした：oracle.jdbc.OracleDriver

oozieを使用してsqoop exportコマンド（シェル・スクリプト内）を実行中にエラーが発生しました。 "java.lang.RuntimeExceptionは：DBドライバクラスをロードできませんでした：oracle.jdbc.OracleDriver" CLI（エッジノード）から sqoopのエクスポートが正常に動作します。以下の場所にojdbc6.jarを追加しました。 /opt/c