yarn

0熱

1答えて

時々私のスパークジョブがCPUが100％であると思われるワーカーに無期限にハングアップしているようです。 Tasks: 288 total, 1 running, 287 sleeping, 0 stopped, 0 zombie %Cpu(s): 3.1 us, 0.0 sy, 0.0 ni, 96.9 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st KiB Mem :

0熱

1答えて

zookeeper znodeからのデータの取得

Java APIを使用してzookeeperのznodeからデータを取得しようとしました。リンク https://www.tutorialspoint.com/zookeeper/zookeeper_api.htm プログラムの下に続く：ZKGetData.java 私はこののような結果を得る "（clusterSecondarynn1node4.test.com>（>）" よ "node4.t

0熱

1答えて

スパーク・ヤーンのメモリ構成

エラー：「診断：コンテナ[pid = 29328、containerID = container_e42_1512395822750_0026_02_000001]が物理メモリの限界を超えて実行されているスパーク・アプリケーションがあります。 GBの3.1 GB仮想メモリが使用されています。私は、物理メモリを増やすために変更することが示唆されたさまざまなパラメータを多数確認しました。それぞれの

1熱

1答えて

Dataproc（Spark v2）の糸箱の例

DataprocのSpark 2.xの糸にデフォルトキューを追加することはできますか？クラスタの作成時に失敗試み：さらに capacity-scheduler:yarn.scheduler.capacity.root.queues=alpha,beta,default yarn:yarn.scheduler.capacity.root.queues=alpha,beta,default 、また失

0熱

2答えて

ヤーンをオフラインにした角度CLI

"オフライン"を指定する必要なく、糸のオフラインモードをデフォルトにすることは可能ですか？角度のプロジェクトのために、私が使用してパッケージマネージャとして糸を設定しました： ng set --global packageManager=yarn を私は、すべての角/ CLIリソースとその依存関係@必要と糸のキャッシュにそれらを保存をつかむための手順を実行しましたng new my-appを

0熱

1答えて

sparkアプリケーション用に割り当てられたリソース（割り当てられたメモリ）の計算方法は？

私たちが知っているように、スパークアプリケーションを実行するには、クラスタはリソースを割り当てますが、アプリケーションに必要なデフォルトの設定など、割り当てられたメモリの合計を計算する方法はありますか？

0熱

1答えて

AWS EMRにHAのリソースマネージャがありますか？

AWS EMRのリソースマネージャーでHAを有効にする方法を知りたいと思います。同様にEMRにセカンダリネームノードを持つ方法

1熱

1答えて

ドッカーの糸 - __spark_libs__.zipは存在しません

私はthisを経由して見ましたが、それらは私をあまり助けてくれませんでした。私はYarnを既存のクラスタで動作させようとしています。これまでは、リソースアロケータとしてsparkスタンドアロンマネージャを使用しており、期待通りに動作していました。これは私たちのアーキテクチャの基本的な概要です。白いボックスのすべてがドッカーのコンテナで動作します。 ./pyspark --master yarn

1熱

1答えて

スパークドライバの高可用性

スパークアプリケーションを糸クラスターモードで実行しています。私のドライバは何とか再起動したようです。この結果、最初からすべてのデータを再処理することになります（私はいくつかのテーブルを作成し、いくつかのデータをハッシュしていました。これが起こらないようにする方法と、ドライバの高可用性を導入する方法はありますか？

2熱

2答えて

ドライバの再起動後にDAGが再計算されないようにするにはどうすればよいですか？

ドライバの再起動時にsparkのDAG全体が高可用性（つまり、糸クラスターモードのデフォルトのHA）からゼロから再計算されないようにするにはどうすればよいですか。現在、私は、これは複数のテーブルに対して実行されHDFS に複数の小さなジョブすなわち読み取りTABLE1 ハッシュ一部の列書き込みを編成するために火花を使用しています。ドライバが再起動されると、つまり2番目のテーブルで作業してい