yarn

0熱

1答えて

私は、任意の時点でジョブの数を制御することによって競合を制御するためにYARNsリソースキューを使用しようとしていました（MRジョブのみ、他のYARNアプリケーションはありません）。私が持っている状況は - 私はユーザーからの要求を受け取り、（MRジョブとして）いくつかのレポートを実行するサービスを持っています。これらのジョブは時には時間がかかり、ピーク時にこれらのジョブがリソースを求めて競合し、

2熱

1答えて

DockerコンテナでHadoopとSparkを使用する

自分の仕事にBig Data Analyticsを使用したいと思います。私はすでにコンテナ内にコンテナを作成するすべてのドッカーのものを実装しました。しかし、私はBig Dataの初心者で、HadoopをHDFSに使用し、Hadoop自体にMapReduceの代わりにSparkを使用することは、スピードが重視されるときにはウェブサイトやアプリケーションにとって最良の方法であることを知りました。 D

1熱

2答えて

YARNのFlink：HDFSの代わりにAmazon S3が間違って使用された

私はFlink on YARN's setup documentationに続いた。私は./bin/yarn-session.sh -n 2 -jm 1024 -tm 2048で実行する場合でも、ケルベロスに認証されながら、私は次のエラーを取得する： 2016-06-16 17:46:47,760 WARN org.apache.hadoop.util.NativeCodeLoader

3熱

1答えて

Sparkで実行中のアクティブなタスクを動的に増やす方法

私は6000イベントのバッチを取得したスパークストリーミングプロセスを実行しています。しかし、エグゼクティブを見ると、アクティブなタスクは1つしか実行されていません。私はダイナミックな割り当てを試み、エグゼキュータの数を設定するだけでなく、たとえ15人のエグゼキュータを持っていても、同時に1つのアクティブなタスクが実行されています。私がここで間違っていることを教えてください。

1熱

1答えて

hadoop-yarn - NodeManagerがspark_shuffleのために起動できない

私のクラスタにhadoop糸をインストールしています。しかし、私のスレーブマシンの1つは、サービスspark_shuffleが状態INITEDで失敗したためNodeManagerを起動できません。 hadoopに関連するすべての/ tmp/*を削除しようとしましたが、hdfsを再フォーマットします。しかし、何も動作しない、私は今、手がかりがない私を助けてくれますか？私は、例外がスローされた理由で

9熱

2答えて

Python Spark/Yarn memory usage

私はspark pythonアプリケーションを使用しています。少し重いリソース（500MB以上）を読み込むステップがあるので、mapPartitionsを使用しています。基本的には： def process_and_output(partition): resources = load_resources() for record in partition: yie

1熱

1答えて

Webアプリケーション上のLANアプリケーション：curl -Lは他の仮想マシンから動作し、ホスト上のブラウザ/カールは

仮想マシンのHadoopクラスタを自分のLAN上にセットアップするプロセスと、vms （ResourceManager）は、奇妙な動作をしているWeb UIを提供します。すべてのvmsはデスクトップから実行され、ipsに割り当てられています。私がターゲットとしているURLはresourcemanager:8088であり、ここでの動作です。私のデスクトップ上で実行されている他のVMから： cur

0熱

1答えて

Flinkに動的にリソースを割り当てることができますか？

私はFlink on Yarnの展開が初めてです。私が知る限り、Flinkは常に糸で実行するためのリソース（CPU、RAM）を予約しています。また、FlinkプラットフォームはYarnアプリケーションと見なされます。しかし、YarnがリソースをFlinkに動的に割り当てることができるように設定する方法はありますか？

0熱

1答えて

SamzaワーカーでのアプリケーションIDの取得方法は？

"container id"または "App Attempt Id"は必要ありません。 documentationには、をlog4j設定に入れることができます。このパスにはアプリケーションIDが含まれています。それはのような/foo/log/../application_id_123

0熱

1答えて

YARN MRv2 JobClient相当

MRv2に相当するJobClient（Java、MRv1）が見つかりません。私は実行中のジョブのMRジョブの状態、カウンタなどを読み込もうとしています。私はリソースマネージャーから情報を取得しなければならないと思います（ジョブが終了する前に履歴サーバーに情報がないため、ジョブが実行中にカウンタを読み取る必要があるため）。私が紛失しているクライアントがmapreduce apiにありますか？