yarn

1熱

2答えて

YARNとMR2の間に少し混乱しています。彼らは同じですか？私はYARNをいくつかのドキュメントで分散アプリケーションを実行するためのプラットフォームとして見てきましたし、MapReduceを分散アプリケーションとして実行しています。プログラマーが作成したMapReduceアプリケーションですか（例：wordcountプログラム）？もう一度私は 'あなた自身のYARNアプリケーションの作成'のよ

2熱

1答えて

org.apache.hive.com.esotericsoftware.kryo.KryoException：検出された未登録のクラスID：21

spark（1.6.1）、hdfs、ハイブ（2.1）の糸クラスターがあります。私のワークフローは、今日まで数ヶ月間うまくいきました（コード/環境の変更なし）。私は、単純な選択が、火花がコンソールにError: Error while processing statement: FAILED: Execution Error, return code 3 from org.apache.hadoop

0熱

2答えて

Spark on Hiveの進行状況バーが10％でスタック

最近、Spark 1.6にアップグレードし、HiveのデフォルトクエリエンジンとしてSparkQLを使用しようとしました。 HiveServer2とSpark On Yarn Serviceが有効な場合、Spark Gatewayの役割が同じマシンに追加されます。私は、次のようなクエリを実行するとただし： SET hive.execution.engine=spark; INSERT OVERW

1熱

2答えて

HadoopクラスターでH2Oを開始できません - ClassNotFound例外

HadoopクラスターでH2Oを開始しようとしています。残念ながら、それは動作しませんし、クラスwater.hadoop.h2omapperが見つからないというエラーを私に与えます。 Hadoop環境は、バージョン2.6ではHDPであり、1つはYARNリソースマネージャを実行し、3つのノードはYARNクライアントを持つデータノードです。データノードにはそれぞれ32GBのRAMと4つのCPUコアのリ

0熱

1答えて

Apache Hadoop 2.7.4とNutchの試行が何らかの理由で失敗しました

Apache Hadoop 2.7.4、Hbase 1.2.6、Solr 6.6.1をNutch with 2.3.1と設定しました。私のすべてのノード上のmapred-site.xmlは <property> <name>mapreduce.jobtracker.address</name> <value>master:9001</value> </property>

0熱

1答えて

使用リソースのスパーク送信後に統計情報を収集する方法はありますか？

私はsparkとYarnをリソースマネージャーとして使用しています。私は、実行後にジョブのために割り当てられたリソースを集める方法を見つけようとしています。リソースマネージャーは現在の使用状況のみを報告するので、完了後はゼロになります。実際にスパーク・ジョブに統計情報が蓄積された後に、それを得ることができない場合は、最後にアウトプット/ストアするための統計情報を蓄積しますか？

0熱

1答えて

ドライバ/マスタに集中しているスパークメモリの使用

私は現在、Spark（v 2.2.0）ストリーミングアプリケーションを開発しており、Sparkがクラスタ全体に作業を割り当てる方法に関する問題に取り組んでいます。このアプリケーションはクライアントモードを使用してAWS EMRに送信されるため、ドライバノードと2つのワーカーノードがあります。ここで、最後の時間にメモリ使用量を示す神経節のスクリーンショットである： Ganglia Screensho

1熱

2答えて

--filesオプションを使用してワーカーノードにアップロードされたアプリケーションを実行する方法は？

spark-submitを使用してワーカーノードにファイルをアップロードしています。このファイルにアクセスしたいと思います。このファイルは私が実行したいバイナリです。私はすでにスカラーを使ってファイルを実行する方法を知っていますが、「ファイルが見つかりません」という例外が発生し続けており、アクセスする方法を見つけることができません。次のコマンドを使用してジョブを送信します。 spark-subm

0熱

1答えて

コードで糸クライアントをセットアップするには？

自分のsparkアプリケーションを自分のhortonworksデータプラットフォームで実行したい。このセットアップのように、私は糸のクライアントとして走りたいと思うスタンドアロンのスパークマスターを持っていません。は、私はこのようなSparkSessionを作成しようとしています： SparkSession .builder() .master("yarn-client")

0熱

2答えて

ジョブメモリの予約を終了する

hadoopジョブを実行しましたが、そのアプリケーションのメモリとCPUの使用量をどのように取得できますか？私はログとリソースマネージャのWebページでそれを見てきましたが、私はそれを得ていませんでした。 RM UIでジョブの下にカウンタが見つかりません。可能ですか？ジョブの実行ごとに、またはアプリケーションごとに取得することはできますか？また、ノード使用量または合計使用量ごとに取得できますか？