HDP 2.4上でSpark 2を実行しています

Question

HDP 2.4でSpark 1.6.1を実行していますが、Spark 2ドライバをYarn HDP 2.4 Clusterで実行できるのでしょうか？

ありがとうございます。

Answer 1

SPARK 2.0を実行することはできますが、HDPプラットフォームではサポートされていません。これまでのところ、SPARK 2.0は技術プレビューとしてHDP 2.5に含まれていたためです。詳細については、公式documentationを確認することができます。