2016-06-25 23 views
1

外部テーブルファイルを外部サーバからリモートサーバにエクスポート/作成することは可能です。外部テーブルファイルを外部サーバから外部サーバにエクスポート/作成することが可能です

create external table SOME_TABLE (MY_Coulmns) 
row format delimited fields terminated by ',' 
lines terminated by '\n' 
stored as textfile location '<Remote server A with IP XXXXX and with username and password>'; 

要件:私はハイブからカサンドラ(別のサーバー上)に、このファイル/データをエクスポートする必要があります。

答えて

0

Hiveで外部ストレージにユーザー名とパスワードを使用してIPを使用することは、セキュリティ上の問題となる可能性があるため、適切な方法ではありません。 Hiveから、外部のAmazon S3 storageまたはAzure Blob Storageを簡単に使用できます。

EDIT:代わりに、あなたはハイブから直接カサンドラのホストとポートにアクセスすることができれば、あなたのハイブのテーブルのストレージハンドラとして(CqlStorageHandler org.apache.hadoop.hive.cassandra.cql 。)Hive Cassandra Storage Handlerを使用。 HiveはCassandraの外部テーブルに直接書き込むことができるため、作業を大幅に簡略化します。

+0

このファイル/データをハイブから(別のサーバー上の)Cassandraにエクスポートする必要があります。私が試すことができる他の何か? –

+0

FTPを使用してHDFSからファイルをエクスポートし、宛先サーバーでカスタム解析/読み込みスクリプトを使用してCassandraに読み込むことができます。 HDFSのFTPファイルを使用するには、HDFS-OVER-FTP(https://github.com/iponweb/hdfs-over-ftp、https://sites.google.com/a/iponweb.net/hadoop/)を使用してみてください。ホーム/ hdfs-over-ftp)。 HDFS-OVER-FTPを使用したくない場合は、独自のJavaベースのFTPアクションを作成して、Oozie上で実行する必要があります。もちろん、オプション-2(つまり独自のJava FTPアクションを構築する)はオプション-1よりも難しくなります。実際には、FTP要件のためのOPENチケット - HDFS-217があります。 – janeshs