私はhdfsにいくつかのデータを持っています。
このデータは、Sqoopを使用してPostgreSQLデータベースから移行されました。
データは、_SUCCESS
,part-m-00000
など
などのハーフオーバーフォーマットがあります。このデータに基づいてハイブテーブルを作成し、このテーブルを1つのタブ区切りファイルにエクスポートする必要があります。HIVEテーブルを作成し、タブで区切ったファイルに保存しますか?
私が知る限り、私はこのようにテーブルを作ることができます。
create external table table_name (
id int,
myfields string
)
location '/my/location/in/hdfs';
その後、私はtsv
ファイルとしてテーブルを保存することができます:私はハイブテーブルにHDFSからデータをロードする方法がわからない
hive -e 'select * from some_table' > /home/myfile.tsv
。
さらに、create
を使用してテーブルの構造を手動で定義するのか、すべての列が自動的に作成されるときに自動化された方法がありますか?
ハイブデータはすでにLOCATIONのHDFSにあります –
どのsqoopコマンドを使用しましたか?それはあなたのためにHiveテーブルを作成するオプションを持っています –
@ cricket_007:これは別の人によって行われました。だから、私はこれを変更することはできません。 – Dinosaurius