namenode

0熱

2答えて

ファイルが50MBで、デフォルトのHDFSブロックサイズが64MBであるとします。したがって、この50MBのファイルを保存した後、14MBのブロックサイズが残っています。これは、他のファイルを保存するために使用できます。ここで、namenodeはHDFSに存在するファイルのブロック情報を記録します。この場合、同じブロックを指す2つのレコードがあります.1つは50mbファイル用、もう1つは14mb

4熱

2答えて

HDFSの多くのファイルを満たすときの実際の理想NameNodeメモリサイズ

HDFSクラスタに2億のファイルがあります。各ファイルはNameNodeメモリで150バイトを占めることになり、合計で600バイトNN。私は250GBのNNメモリを設定し、2億のファイルを処理しました。私の質問は、250GBという非常に大きなメモリサイズで、GCに多大な負担をかけるでしょうか？ NN用に250GBのメモリを作成することは可能でしょうか？ Can someone just say

0熱

1答えて

Hadoop名ノードHAハイブ障害

HA環境に2つのnamenodeがあります。また、ハイブはHA名前空間を指すように設定されています。しかし、intermediatly私のHiveは以下のエラーを与えるパッシブnamenodeを指し示す失敗しても、私のアクティブなnamenodeはまだ使用中です。問題がどこにあるのかを助けてください。 Hiveが失敗した場合、Zkfcはdosentを記録してもフェイルオーバーを表示します。 IOス

0熱

1答えて

NameNode HAモードのクラスタを持つKafka HDFSコネクタ

NameNode HAモードでHDPクラスタを取得しました。具体的には、このモードは、HDFS Advancedのコアサイトconfig-fs.defaultFSの仕方を変更します。 hdfs://<host>:<port>から（例えばhttps://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.4.2/bk_hadoop-ha/content/ha-n

-1熱

1答えて

Hadoop JvmPauseMonitor

最近Claudera HadoopとHDFSで、私たちのNameNodeサービスを開始できなかった面白いシナリオがありました。 HDFSサービスの再起動時に、私たちのクラスタでNameNodeサービスを正常に再起動できませんでした。ログの見直しの際に、我々はすべてのエラーを観察したがJvmPauseMonitorに関連するいくつかのエントリを参照してくださいましたしませんでした... org.ap

2熱

2答えて

WindowsでのHadoopインストールに関する問題

Windows 7にHadoopをインストールしようとしています。私はこの指示に従うためにblogに従っています。しかし残念ながら私はNamenodeを実行することができませんでした。 hdfs-site.xmlファイルで問題があるようですが、何か間違っているとは思われません。それを見てください HDFS-site.xmlの <?xml version="1.0" encoding="UTF-8"

0熱

1答えて

複数のハープ・クラスタで1つのノードをデータ・ノードとして使用する方法

1つのコンピュータを2つの異なるハープ・クラスタのデータ・ノードとして使用したいとします。私はポートを変更しようとしましたが、それは動作しませんでした。ポートの変更が必要な場合は教えてください。

0熱

1答えて

単一ノードhadoopの設定中にnamenodeを開始しない

hadoopで単一ノードクラスタを設定しようとしていますが、コマンドを与えた後にstart-all.sh、jpsにnamenodeが表示されず、、私は停止するnamenodeとして結果を得る。また、tmpフォルダのデータを消去することで問題が解決されることはほとんどありませんでしたが、hadoopフォルダでは見つかりませんでした。 [email protected]:~/sbin# jps 4

0熱

1答えて

NameNodeとNameSpaceの違い

Hadoopの初心者として、私はNameNodeとNamespaceの間で混乱しています。私の理解から、両方ともメタデータを含む同じ機能を持っています。それらの間に違いはありますか？