emr

23熱

3答えて

S3からAmazon EMR HDFSにファイルをコピーするにはどうすればよいですか？

私はEMRを超えてハイブを実行しています。と、いくつかのファイルをすべてのEMRインスタンスにコピーする必要があります。各ノードのローカルファイルシステムにファイルをコピーするだけですが、もう1つはファイルをHDFSにコピーすることですが、S3からHDFSにstrightをコピーする簡単な方法は見つかりませんでした。これについてはどのような方法が最適ですか？

3熱

1答えて

Amazon EMDのHadoop 1.0.1ジョブのサポート

javaとhadoop 1.0.1を使用してMRジョブを開発しました。しかし、EMRはHadoop 0.20までしかサポートしていません。 EMRでHadoop 1.0.1ジョブを実行することは可能ですか、またはEMR hadoopバージョンに準拠するためにライブラリスタックをダウングレードする必要がありますか？

18熱

3答えて

エクスポートハイブ表

私はElastic MapReduceの対話セッションを通じてハイブ表を作成し、このようにCSVファイルから、それを埋めてきた：私は今でハイブテーブルを格納したい CREATE TABLE csvimport(id BIGINT, time STRING, log STRING) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'; LOAD DA

0熱

1答えて

AWS Elastic Map v0.5を実行しているハイブを減らしますか？機能が欠落しています： 'str_to_map'、 'reflect'

Amazon AWSのElastic Map Hiveの実装では、UDF str_to_mapとreflectは定義されていません。 str_to_mapはここに文書化されている：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF#LanguageManualUDF-StringFunctions とハイブ0.7で

2熱

3答えて

EHR相互通信/クライアント

そこで、既存のEMRのクライアントインターフェイスを構築する方法を研究しています。私は、さまざまなコーディングスキームと同様に、HL7に関する情報をたくさん読んだことがありますが、私はまだ本当に無知です。働いていたEMRと前に誰のために：それはHTTP-POSTを使用して、サーバーのデータベースに/プッシュデータをプルする要求をHTTP-GETできるWebインターフェイスを構築することは可能でし