こんにちは、HADOOP
でトレーニングを受けています。私はsqoop
を使用して、オラクル(ウィンドウ、11g xe)からhdfs
にテーブルデータをインポートする必要があるタスクがあります。私は次の記事を読んでいます。私の質問は、どのように私は正確にhdfsにウィンドウからデータをインポートすることです。 Noramally私はWinscp
を使用して、Windowsからhdfsマシンにファイルを転送します。 hdfs(cdh3)マシンにインストールされたMySql
のデータをインポートしました。しかし、WindowsのOracleからhdfsにデータをインポートする方法はわかりません。助けてください。sqoopを使用してOracle(Windows)からHDFS(CDH3)マシンにデータをインポート
答えて
ローカルマシンへのOracleからデータをインポートする必要はありません。その後、HDFSマシンにコピーします。その後、HDFSでインポートします。
Sqoopここでは、RDBMSテーブルをHDFSディレクトリにインポートします。
Useコマンド:
sqoop import --connect 'jdbc:oracle:thin:@192.xx.xx.xx:1521:ORCL' --username testuser --password testpassword --table testtable --target-dir /tmp/testdata
詳しくは、sqoop docsをご確認ください。続き
私はバックアップを取って、CDH3マシンでこのバックアップファイルをWinscpを使ってコピーし、次にsqoopをHDFSでプルする必要があります。私は正しいですか? – user2998990
@ user2998990いいえいいえ。何もコピーする必要はありません。 sqoopはすべてを行います。 oracleに有効な資格証明を入力するだけです。 –
@ user2998990更新された回答を確認する –
は段階的なプロセスです:
.ConnectのOracle SQLコマンドラインは、あなたの資格情報を使用してログイン:
例えばユーザー名:システムパスワード:システム
(必ずこのことを確認しますユーザーはすべての特権を持つ新規ユーザーを作成します)。そのユーザの下の表を食べて、いくつかの値を挿入し、我々はHDFSへのOracleから我々のデータを転送するためのコネクタを必要とする.Now は
をコミットします。 そこで、我々は、Oracle -sqoopコネクタのjarファイルをダウンロードし、CDH3の次のパスに配置する必要があります。(あなたのコマンドで使用するsudoのそれは、Linuxで管理アセスを必要とするため、次のパスにコピーしている間に)
/usr/lib/sqoop/bin
http://www.oracle.com/technetwork/database/enterprise-edition/jdbc-112010-090769.html - ダウンロードリンク - ojdbc6.jar
ダウンロードしたjarをWindowsからCDH3に転送するには、winscpを使用します。その後、CDH3の上記のパスに移動します。
。コマンド:
sudo bin/sqoop import –connect jdbc:oracle:thin:system/[email protected]:1521:xe–username system -P –table system.emp –columns “ID” –target-dir /sqoopoutput1 -m 1
sqoopoutput Uはあなたの
-m 1に従ってDISを変更することができ、あなたのデータを取得しますHDFSでの出力に含まファイルではありません:これは、ここでは、このsqoop仕事のためにマッパーのない番号を伝えますそれは1
192.168.XX.XXです:1521 - Windowsマシン
- 1. Sqoopを使用してmysqlからHDFSにデータをインポート
- 2. シェルスクリプトを使用したteradataからhdfsへのsqoopデータ
- 3. oracleからhdfsにSqoopをインポートすると、ソケットから読み取るデータがもうありません
- 4. SQOOPを使用したRDBMSからのデータのインポート
- 5. Sqoopを使用してOracleデータをHadoopにロードする
- 6. Apache Sqoopを使用してMySQLからMySQLにデータをインポートする
- 7. SqoopでMongoDBからデータを抽出し、HDFSに書き込む?
- 8. sqoopを使ってhdfsからmysqlにjsonデータを挿入するには?
- 9. Kerberos認証エラー---ハイブ/ HDFSにSqoopインポートSQL
- 10. sqoopを使用してRDBMSからすべてのテーブルをインポート
- 11. Hadoop MapReduceを使用してaws s3からHDFSにデータをインポートする方法
- 12. Apache Nifiを使用してmysqlからHive/hdfsにデータをインポートする
- 13. flumeを使用してOracle 11gデータをHDFSにロード
- 14. sqoop export --update-keyをhdfsからmssqlに
- 15. SqoopからMysqlをHadoopにインポートするhdfsを使用するJavaを使用する
- 16. Sqoopを使ってmysqlからHadoopにデータをインポートしても失敗する
- 17. Sqoop java apiを使用してデータをインポートする方法は?
- 18. インポートmysqlのデータは、私がsqoopを使用して、インポートmysqlのデータを持っているHDFSファイルの内容を確認したいCCA
- 19. sqoopインポート--query argumrntを使用
- 20. Sqoopを使用してOracleからHiveにビューを移行する
- 21. hdfsのavroファイルにoracle clobデータをインポートする方法
- 22. Sqoop 1.99.6でデータをインポート
- 23. ojdbc6コネクタを使用したSqoopのインポート
- 24. Sqoopを使用したデータのインポート、タイムスタンプデータ型
- 25. HDFSからHiveへのSqoopデータの移動
- 26. Sqoopを使用してSQL ServerからAzureブロブストレージにデータをインポートすることはできますか
- 27. SQoopでOracleからハイブ・パーティション表を動的に作成し、データをインポートします
- 28. oracleからmysqlにデータをインポート
- 29. Sqoopを使用してテーブルをインポート中に主キーエラー
- 30. Sqoopエラーは、Oracle DBからデータをフェッチするために、このsqoopコマンドを使用しますが、以下のエラーで終わるOracleウォレットに
のIPアドレスは、カスタム構築されたのHadoop環境を使用するか、CDHまたはHDPまたはその他のような任意の既製のフレーバーを使用していますか? – SrinivasR