「クライアント」はHadoop/HDFSの正確な意味は何ですか？

Question

私はそれの背後にある一般的な概念を理解していますが、私は「クライアント」が何であるかを明確にし、明確に定義したいと思います。

たとえば、端末にhdfsコマンドを書き込んだだけの場合でも、それはまだ「クライアント」ですか？

Answer 1

Clientを説明Hadoopのファイルシステムと通信するためのインタフェースを指します。さまざまなタスクを実行するために、Hadoopで使用できるさまざまなタイプのクライアントがあります。

基本ファイルシステムクライアントhdfs dfsは、Hadoopファイルシステムに接続し、基本的なファイル関連タスクを実行するために使用されます。 ClientProtocolを使用してNameNodeデーモンと通信し、DataNodeに直接接続してブロックデータを読み書きします。 HDFSの管理タスクを実行するには、hdfs dfsadminがあります。 HA関連タスクの場合、hdfs haadmin。 実行に使用できる同様のクライアントがあります。YARN関連タスク

これらのクライアントは、HadoopがインストールされているノードからのそれぞれのCLIコマンドを使用して呼び出すことができ、Hadoopファイルシステムに接続するために必要な設定とライブラリが必要です。このようなノードは、しばしばHadoopクライアントと呼ばれます。

例えば、ターミナルでhdfsコマンドを書いても、それでも は "クライアント"ですか？

技術的には、はいです。 hdfsコマンドを使用してFSにアクセスできる場合、ノードはHadoopクライアントになるために必要な設定とライブラリを持っています。

PS：これらのクライアントをプログラムで作成するためのAPIも用意されています。

Answer 2

エッジノードは、Hadoopクラスタと外部ネットワーク間のインターフェイスです。このノード/ホストには、すべてのライブラリとクライアントコンポーネント、およびhdfsに接続するためのクラスタの現在の構成があります。 このthreadはHadoopの中の同じ