2016-10-14 14 views
1

をインストールに失敗した私は、Googleのクラウドdataproc上のコマンドの下にしようとしています:Dataprocがoozieパッケージ

apt-get install oozie-client 

しかしdataprocは、リポジトリにoozieパッケージを一覧表示することが失敗しています。

エラー:

[email protected]<master>:#> apt-get install oozie-client 
Reading package lists... Done 
Building dependency tree 
Reading state information... Done 
E: Unable to locate package oozie-client 

いずれかがこの問題を解決する方法を知っていますか?

+0

が本当にあなたの質問に答える、しかしないあなたはoozie用缶詰初期化アクションを試してみました:https://github.com/GoogleCloudPlatform/dataproc-initialization-actions/ blob/master/oozie/oozie.sh – tix

+0

私はcanned初期化アクションを試しました。同じ問題があり、apt-get install oozieも同じ問題を抱えています。 – RanP

+0

確かに、内部的には実行中に同じパッケージを探すため、初期化済みの初期化スクリプトで同じ問題が発生します。 – Revan

答えて

1

この回答は恐らくと言われています。です。

oozie-clientは現在、Hive 2とSpark 2に対してコンパイルされていません。Cloud DataprocのNewer versionsは、Spark 2とHive soで構築されています。したがって、この時点では、ちょっと混乱しているので、oozie-clientはビルドでは除外されています。

は、豚とMapReduceで動作します。だから、それはあなたのユースケースに依存します。あなたはPig/MRまたはHive /または/ Sparkでそれを使用する予定ですか?

Apache AirflowがCloud Dataprocで使用されるようになっており、かなりうまく機能しているようです。もちろん、そこには、気流がおそらくクラスターそのものとは別個であり、インストールにしばらく時間がかかり、インキュベーションプロジェクトであるという事実など、いくつかのトレードオフがあります。

(出典 - 私はクラウドDataproc PM)午前