カスタム最適化にSparkOptimizerを使用する

Question

カスタム最適化された論理プランをSparkOptimizerにプラグインし、実行されているかどうかを確認しようとしています。以下に示すようにxyz.Scala中/火花/ SQL /触媒/カスタムバッチと 'ヴァルバッチ' を持っているABC：

Object xyz extends RuleExecutor{ 
val batches = Batch (custom rule1):: Batch(custom rule2) :: Batch(custom rule3) :: Nil 
} 

私が欲しい

私はRuleExecutor拡張するオブジェクトを持っていますこれらのルールは、私がSparkにサンプルアプリケーションを提出するときに反映されます。私はexerimental.extraOptimizationsについて読んでいますが、私はこの場合にどのように実装するのか分かりません。

Answer 1

私はそれを理解しました。 V 2.2。*に付属の新しい実験方法は、特定のアプリケーションに対してカスタム最適化が必要で、スパークするために提出するすべてのアプリケーションでは必要ない場合にのみ使用できます。私の場合は、すべてのカスタムバッチをoptimizer.Optimizerに含める必要がありました。したがって、ルールはネイティブルールでバッチ処理されます。