HDFSディレクトリを手動で上書きするのではなく、手動で上書きすることは可能ですか? は、それは、これにデータを書き込む前に、コマンドで提供<HDFS-target-dir>
を削除しますhdfsディレクトリを上書きするSqoop import
3
A
答えて
5
使用--delete-target-dir
(私たちは「--overwrite」我々はハイブ輸入のために持っているように、「--hive-上書き」などの任意のオプションを持っています)ディレクトリ。
1
使用この:--delete-target-dir
これはsqoop構文を使用してHDFSディレクトリを上書きするために動作します:
$ sqoop import --connect jdbc:mysql://localhost/dbname --username username -P --table tablename --delete-target-dir --target-dir '/targetdirectorypath' -m 1
例:
$ sqoop import --connect jdbc:mysql://localhost/abc --username root -P --table empsqooptargetdel --delete-target-dir --target-dir '/tmp/sqooptargetdirdelete' -m 1
このコマンドは、対応するHDFSディレクトリまたはハイブを更新しますこのコマンドが実行されるたびに、更新された/最新のデータでテーブルのデータが更新されます。
関連する問題
- 1. 上書きHDFSファイル/ディレクトリ
- 2. SqoopでMongoDBからデータを抽出し、HDFSに書き込む?
- 3. sqoop import-all-tables fail
- 4. sqoop not import datatype varchar2
- 5. エラー:hdfsにレコードを追加するsqoop
- 6. SQOOPインポートストアデータをHDFSにないローカルファイルシステム
- 7. sqoop export --update-keyをhdfsからmssqlに
- 8. Odooでcsv importの "ir.sequence"フィールドを上書きする方法は?
- 9. HDFS:ディレクトリを削除する
- 10. Kerberos認証エラー---ハイブ/ HDFSにSqoopインポートSQL
- 11. PigでHDFSにSTORE(上書き)する方法は?
- 12. Sqoop import-all-tablesコマンドの問題
- 13. --map-column-hiveでSqoop importコマンドを使用するには?
- 14. hdfsディレクトリへの読み書き権限を変更できません
- 15. Sqoopを使用してmysqlからHDFSにデータをインポート
- 16. ディレクトリであるHDFSの "ファイル"
- 17. シェルスクリプトを使用したteradataからhdfsへのsqoopデータ
- 18. Sqoop HDFSからCrate.io DBにエラー/出力なしでエクスポートする
- 19. Sqoop Export MySQLへのHDFSのエクスポートが失敗する
- 20. HDFSからHiveへのSqoopデータの移動
- 21. Spark/ScalaのHDFSへの書き込み
- 22. hdfsにディレクトリを圧縮することはできますか?
- 23. HDFSにランダムファイルを書き込む - PySpark
- 24. スパーク:RDDの各レコードをHDFSディレクトリの個々のファイルに書き込む
- 25. 更新されたファイルでディレクトリを上書きする方法
- 26. Dockerのnginxのhtmlディレクトリを上書きするコンフィグ設定
- 27. clouderaで上書きされたディレクトリを復元する方法
- 28. Hiveからsqoopエクスポートを使用するときにMySQLテーブルを上書きする方法
- 29. DataNodeディレクトリを削除するときのHDFS動作
- 30. sqoopエクスポートを実行中にhdfsで追加ブロックが必要