ビジュアルクエリスパークジョブ - クラスタ対クライアントモード

Question

デフォルトでは、ビジュアルクエリスパークジョブはローカルモードで実行されます。 Kyloを大量のデータを使用して本番環境で稼動させているときに、ビジュアルクエリーの推奨設定は何ですか？

おかげ シャシあなたがここに編集することができます。このため

Answer 1

： -

/opt/kylo/kylo-services/bin/run-kylo-spark-shell.sh

した後、「スパーク「サブミット」。

Answer 2

私は視覚的な質問スパークジョブを糸クラスタモードで実行しようとしましたが、うまくいくようです。以下は各モードでの私の観察です。

ローカルモード：それはかなりうまくいくが、それはエッジノードからのメモリとコアのためのルックとしてエッジノードに圧力をかける。

ヤーンクライアント：エッジノードの制限を避けるため、ビジュアルクエリを設定して糸クライアントモードを実行します。しかし、ある日、ディスク障害が発生し、ファイルが見つからないという例外が発生したため、視覚的なクエリが失敗しました。驚いたことに、それは別のノード（HDFSレプリケーションの概念）上のファイルの別のコピーを探すことはありませんでした。

yarn-cluster：このモードでは、パフォーマンスが向上し、ファイルが見つからないという例外を回避できました。しかし、私たちが直面した課題は、ビジュアルクエリの設計アプローチによるものでした。視覚的なクエリのためのsparkシェルサーバーを起動すると、スパークコンテキストが作成され、サーバーアプリケーションを起動するまでそのコンテキストが終了しません。これの影響として、糸リソースマネージャのUIには、あなたがアプリケーションを終了させるまでthinkbig sparkサーバーが常に稼動しており、リソースを解放することはありません。

おそらく、私たちはKyloの最もクールな機能の1つとして視覚的なクエリを強化しようとするべきでしょう。