1
マルチノードクラスタにHadoop HDFSとSparkをインストールしたいと思います。マルチノードHadoopクラスタでSparkを設定するにはどうすればよいですか？
Hadoopをマルチノードクラスタにインストールして正常に設定できました。また、マスターノードにSparkをインストールして設定しました。
スレーブでスパークを設定する必要があるのか疑問がありますか？
A
答えて
3
スレーブでもスパークを設定する必要があるのでしょうか？
すべきではありません。あなたは終わった。 SparkアプリケーションをHadoop YARNに提出する必要がありました（はがクラスタマネージャであると結論しました）。
Sparkは大量のデータセットの分散計算用のライブラリであり、Sparkアプリケーション専用です（使用するクラスタではありません）。
時間toスパークのアプリケーション！
関連する問題
- 1. オープンソースSparkおよびHortonworksのHadoopサンドボックスでクラスタを使用するにはどうすればよいですか？
- 2. マルチノードHadoopクラスタのHDFSストレステスト
- 3. HDInsight HadoopクラスタとHDInsight Sparkクラスタの違いは何ですか？
- 4. マルチノードのhadoopクラスタにJavaをインストールする場所は？
- 5. Hadoopマルチノード環境の設定方法は？
- 6. ライブhbase/hadoopクラスタに新しいノードを追加するにはどうすればよいですか？
- 7. Hadoop MapReduceまたはSparkでデータ前処理を実行するにはどうすればよいですか？
- 8. Sparkでは、RDDなしでHadoopにファイルを書き込むにはどうすればよいですか？
- 9. Mesosクラスタのすべてのノードでenv varsを設定するにはどうすればよいですか？
- 10. Hadoop StreamingジョブでPriority \ Poolを設定するにはどうすればよいですか？
- 11. Hadoop/Sparkでproto3を使用するにはどうすればよいですか？
- 12. 実行中のKubernetesクラスタでKUBE_ENABLE_INSECURE_REGISTRY = trueを設定するにはどうすればよいですか？
- 13. リモートHadoopクラスタへのプロセスの計算とルックアップを実行するにはどうすればよいですか？
- 14. NutchはHadoopクラスタでどのように動作しますか？
- 15. hadoop入力形式をNLineInputFormatに設定するにはどうすればよいですか？
- 16. SparkをHDFSで使用する場合、どのようにHDFSを設定すればよいですか？
- 17. EC2クラスタの前にSSL暗号化リバースプロキシを設定するにはどうすればよいですか？
- 18. 木材を弾性検索クラスタに設定するにはどうすればよいですか？
- 19. dataprocクラスタでhadoopサービスを再起動するにはどうすればいいですか
- 20. Azure HDInsightのSpark ClusterでHBaseを設定するにはどうすればよいですか？
- 21. 簡単なドッキングRabbitMQクラスタを設定するにはどうすればよいですか？
- 22. Terraform：EMRクラスタのAMI IDを設定するにはどうすればよいですか？
- 23. マルチモードHadoopクラスタを設定する
- 24. （windows）Hadoopクラスタを設定する
- 25. ASP.Netでアップロードフォルダをクラスタ化するにはどうすればよいですか？
- 26. マルチノードでストリームジョブを実行中の "Child Error" Hadoopクラスタ（clouderaディストリビューションCDH3u0 Hadoop 0.20.2）
- 27. Hadoop MapReduce設定オブジェクトを使用してカスタムパラメータを渡すにはどうすればよいですか？
- 28. SparkとOpenMPIがクラスタ上に共存するための優先順位を設定するにはどうすればよいですか？
- 29. angle 2.0/sparkシングルページアプリケーションのクライアント側ルーティングを正しく設定するにはどうすればよいですか？
- 30. クラスタ環境でゼロデイタイムデプロイメントを行うにはどうすればよいですか？