デフォルトのファイルシステムとしてS3を使用

Question

こんにちは私は、ハイブを使用するときにS3をデフォルトのファイルシステムとして使用しようとしています。 私が設定している：私は、データベースを作成することができます// mybucket

fs.s3.awsAccessKeyId = MYID

fs.awsSecretAccessKey = mysecretkey

と：

• fs.defaultFS = S3をテーブルと私のs3のバケツに表示されます。 これらのテーブルを使用しようとすると、問題が発生します。私はエラーを取得する：

  Incomplete HDFS URI, no host: hdfs:/tmp/hive/hadoop/dir/filename 
  

  問題は、それはまだ代わりにS3のHDFSを使用することで他に何私はハイブとMapReduceのはFSとしてS3を使用するために設定する必要がありますか？

Answer 1

ハイブとAmazon S3を使用する最も簡単な方法は、Amazon EMRクラスタを起動して外部テーブルをS3に保存して使用することです。例えば

、この文はS3に格納されるテーブルを作成します。

CREATE EXTERNAL TABLE parquet_hive (
    requestBeginTime string, 
    adId string, 
    impressionId string, 
    referrer string, 
    userAgent string, 
    userCookie string, 
    ip string 
) 
STORED AS PARQUET 
LOCATION 's3://myBucket/myParquet/'; 

あなたはそれにデータを挿入できます。

INSERT OVERWRITE TABLE parquet_hive 
SELECT 
    requestbegintime, 
    adid, 
    impressionid, 
    referrer, 
    useragent, 
    usercookie, 
    ip 
FROM impressions; 

参照：Converting to Columnar Formats

をあなたの場合Amazon S3の代わりに独自のHadoopクラスタを使用している場合、はS3（e gはs3n:またはs3a:を使用）。