0
私は新しいスパーククラスターを計画しています。私の質問は、すべてのデータノードにsparkワーカーノードをインストールする必要がありますか？たとえば、データノードが50個あり、スパーク作業ノードを10個しかインストールしない場合は、合理的ですか？ ありがとう！すべてのデータノードにsparkワーカーノードをインストールする必要がありますか？
A
答えて
0
はい、どのノードを使用するのかはデフォルトでは予測できないため、すべてのノードにspark workerをインストールする必要があります。 マルチノードスパークのインストールのためにthis linkを見つけてください
関連する問題
- 1. すべてのAndroid SDKが必要ですか、どのようにインストールする必要がありますか？
- 2. 作業者はSparkにHadoopもインストールする必要がありますか？
- 3. 私はすべてのsdkアンドロイドツールをインストールする必要があります
- 4. ノードモジュールをグローバルにインストールする必要がありますか？
- 5. ノードにfsモジュールをインストールする必要がありますか
- 6. なぜSparkはすべてのノードにローカルファイルが存在する必要がありますか？
- 7. Ionicプラットフォームはnpmインストールにインストールする必要があります
- 8. すべてのクライアントマシンにTFS2010カスタムポリシーをインストールする必要はありません。
- 9. Bower、GIT、Gruntのインストール、すべてのプロジェクトなどが同じディレクトリにある必要がありますか？
- 10. DevExpressはローカルマシンにインストールする必要がありますか？
- 11. エラー：HiveでSparkを構築する必要があります
- 12. 関連するすべてのホストにSSISコンポーネントをインストールする必要がありますか？
- 13. Perlアップデート - モジュールを再インストールする必要がありますか？
- 14. Mac OS SQLサーバーをインストールする必要がありますか？
- 15. MagentoはSUPEE-8167をインストールする必要がありますか？
- 16. すべての要求にすべての依存関係をロードする必要がありますか？
- 17. ハブにブラウザをインストールする必要があります
- 18. ビジュアルスタジオをビズトークプロダクションサーバーにインストールする必要があります
- 19. Kotlinにライブラリをインストールする必要があります。
- 20. libapache2-mod-phpをapache2.2.22にインストールする必要があります
- 21. すべての要素にslidetoggleを使用する必要があります
- 22. すべてのバインディングにURLACLを設定する必要がありますか？
- 23. すべてのコンポーネントをngModuleに登録する必要がありますか？
- 24. すべてのデータベーステーブルをベースユーザーに接続する必要がありますか？
- 25. すべてのHTMLページをメインタグにする必要がありますか？
- 26. WinxpからWin7へすべてのRailsの宝石を再インストールする必要がありますか？
- 27. /usr/localにhadoopをインストールする必要はありますか？
- 28. Windowsに.DS_Storeをインストールする必要はありますか？
- 29. Caliburn.Microがすべてのメソッドを公開する必要がありますか
- 30. ブートストラップにリンクするか、ローカルにインストールする必要がありますか？
使用するスパークモードに依存します。スタンドアロンの場合、スパークジョブを起動するノードにインストールする必要がある糸については、すべてのノードにインストールする必要があります。 – vgunnu
このリンクを確認してください：http://stackoverflow.com/questions/24909958/spark-on-y-concept-understanding/38598830#38598830 – mrsrinivas