yarn

0熱

1答えて

SparkLauncherハイブとしてユーザーと一緒に糸クライアントでspark-submitを実行

masterURL=yarn-clientでスパークジョブを実行しようとしています。 SparkLauncher 2.10を使用します。 Javaコードはnifiプロセッサーでラップされています。 Nifiは現在ルートとして実行されています。私が糸の塗布リストをするとき、私はUSER = rootで始まるスパークジョブを見る。私はUSER = hiveでそれを実行したいです。以下は私のSpark

1熱

1答えて

SparkストリーミングのBean GroupByKeyを

私は現在、spark runner上でwindowingとgroupbykeyを使ってビームパイプラインを実行しようとしています。ローカル、それはが、糸モードでは、すべてのストリームダウン GroupByKey.create()（なし最終HBaseの変異）の後にペインを誘発しないように見える、完全に動作します。グループ化する前のすべてのParDosは、メッセージ（kafkaから取得）を正常に

6熱

2答えて

ハイブクエリが遅すぎると

を失敗した私はハイブTXTテーブルにクエリ「でグループ」 select day,count(*) from mts_order where source="MTS_REG_ORDER" group by day; を実行してきましたが、それは示しています Error: Error while processing statement: FAILED: Execution Error, ret

0熱

2答えて

"TranslateServiceのプロバイダがありません"というエラーが何とかnpm installに接続されました

my Angular+Webpack+JHipster+yarn projectで次のエラーが発生します。それから、node_modulesを削除して 'npm install`を実行すると、それはなくなります。それから私はこれを行い、それが戻ってきます。どうして？私はそれをする必要はありません。エラーに記載されているTranslateServiceは、私自身のものではなく、ライブラリによって提供

1熱

1答えて

sparkアプリケーションオーバーライドyarn-site.xml設定パラメータ

Sparkアプリケーションを送信するときに、1つのYarn設定パラメータをyarn-site.xmlに上書きする必要があります。 saprk-submitの余分なパラメータとして渡すことはできますか？私は上書きしたいパラメータが火花提出 --conf "yarn.nodemanager.vmem-check-enabled" それとも、またSparkSession.conf.setようなコー

0熱

1答えて

Hadoop Resource Managerはアプリケーション情報をどのくらい保存しますか？

公式のREST APIを使用して、Hadoop Resource Managerからさまざまなユーザーやアプリケーションからリソースの使用状況を読み込みます。私たちの問題は、アプリケーションの履歴が、使用されているコア、メモリ、およびコンテナに-1の値を返すように、十分に長くは持続しないことです。糸がデータを保存する期間を延長したいが、値を設定する場所はわからない。

0熱

1答えて

寄木細工の警告Amazon EMRのHive MapReduceのログを書き込む

私はHive on Tezの寄木張りとして格納されたテーブルでカスタムUDAFを実行しています。私たちのHiveジョブはYARN上で実行され、すべてAmazon EMRに設定されています。しかし、私たちが持っている寄木細工のデータが古いバージョンのParquet（1.5）で生成されているため、YARNログをいっぱいにしてジョブが終了する前にディスクの空き領域がなくなるという警告が表示されています。

0熱

1答えて

ノードパッケージとノードサスのエラー

javascript consoleでこのエラーが表示されます。私はすでにnode_modulesを削除して再インストールしています。すでにnpm rebuild node-sassを実行しています。私はもう何をすべきかわかりません。私はあなたの助けに非常に感謝します。 app.js:20147 Uncaught Error: Module build failed: ModuleBuild

1熱

1答えて

大きなxmlファイルを1つのHDFSディレクトリに解凍する方法

HDFSディレクトリからZipファイルを読み込み、解凍してすべての解凍ファイルを含む単一のディレクトリにHDFSに書き戻す必要があります。ファイルはXMLで、サイズはGB単位で異なります。最初に、ファイルを解凍してこれらの内容をマッパーに提供するカスタムInputFormatとカスタムRecordReaderを作成してMap-Reduceプログラムを実装した後、各マッパープロセスとMultiOu

0熱

1答えて

hadoop nodemanagerがSIGSEGVによって殺された

大きなハイブクエリを実行するたびに、私のhadoopノードマネージャはSEGSEGVによって殺されました。私はHadoopの2.8.0とOracle JDK次のように1.8.0_131 糸のjavaエラーファイルのスニペットを使用しています：完了したログは、こちらからダウンロードすることができます yarn_hs_error.log それはのように思える # # A fatal error ha