誰かがTezでSpark/Flinkを実行するのはなぜですか？ 。

Question

サハらから Tez paperにおいて

は、TEZとHadoopの2次のモジュラーアーキテクチャが示されている：

なぜ誰かがTEZにスパーク/ FLINKを実行しますか？

利点は何ですか？ YARNの使用効率を改善しますか？

Answer 1

私が正しく理解すれば、tezのスパークを実行すると、理論的にはより良いDAGが得られるはずです。例えば機械学習の反復に適用することができる。

関連する段落を以下に示します。

我々はTEZ DAGにコンパイル後のスパーク DAGをエンコードし、 スパークエンジンサービスを実行していませんでしたYARNクラスタで正常にそれを実行することができました。ユーザー定義のスパークコードは で、Tezプロセッサのペイロードにシリアル化され、ユーザーコードをデシリアライズして実行する汎用の Sparkプロセッサに注入されます。この はSparkの独自の ランタイムオペレータを使用して修正されていないSparkプログラムをYARN上で実行できるようにします... Tezセッションでは、 スパークマシンの効率的な実行が可能です。この作品は言われているという実験試作品ではなく の一部スパークプロジェクト

あり、この組み合わせは実験設定外部に実装されていないことが表示されますので、ツールでTEZを組み合わせるためのまともな理由がある場合でも、 Sparkのように、この時点ではどのプロジェクトにも役立たないでしょう。

また、非常に具体的な作業負荷がなければ、Tez DAGが正常なSpark DAGよりも大幅に優れていると私は驚くでしょう。