2017-02-02 16 views
1

私はSparkを初めて使用しています。このappNameには、マスターURLの隣に表示される小さな混乱があります。私はインターネットで検索しましたが、明確な答えを見つけることができません。オンライン記事によると、appNameは作成後は変更できません。したがって、sparkcontextが1つしかない場合は、単一のjvmで利用可能です。実際の使用方法は何ですか?SparkContextコンストラクタのappNameとは何ですか?その使用法は何ですか?

誰でも私にこれを明確に説明できますか?

ありがとう

答えて

1

スパークアーキテクチャには、以下のような複数のコンポーネントがあります。

  • ドライバー・プログラム:このアプリケーション全体を駆動し、あなたのバンドルされたjarファイルのアプリケーション。スパークマスターのインスタンスへのドライバの会談では、クラスタ

  • スパークマスターに自分の仕事を提出しますマスターは、ドライバプログラムのためのクラスタの単一の窓口として機能します。クラスタ・マネージャとのネゴシエーションによって実行するアプリケーションに必要なリソースを割り当てます。

  • エグゼクティブ/ワーカー:これらは、実際にデータフレーム/ RDDを処理するシステム内の主役です。あなたの分散データ

スパークマスタは、複数のドライバアプリケーションから同時に送信された複数のジョブを処理している可能性があります。クラスタ内で実行されている何百もの他のアプリケーションの中から特定のアプリケーションを監視/追跡するには、識別子が必要です。これはappNameが役に立ちます。

関連する問題