ドッカーswarmを持つHadoopクラスタ

Question

マウントされたボリュームを持つ各ドッカーノードにdatanodeを持つ複数のホストを持つドッカーswarm内にhadoopクラスタをセットアップしようとしています。いくつかのテストを行い、正常に動作しますが、データノードが消滅してから復帰します。

私は2つのホストを同時に再起動し、コンテナが再び実行されると、新しいipを取得します。問題は、それが別のデータノードだと思うので、namemodeがエラーを出してしまうことです。

ERROR org.apache.hadoop.hdfs.StateChange: BLOCK* NameSystem.getDatanode: Data node 10.0.0.13:50010 is attempting to report storage ID 3a7b556f-7364-460e-beac-173132d77503. Node 10.0.0.9:50010 is expected to serve this storage. 

ドッカーが新しいipを割り当てないようにして、再起動後に最後のipを保持することはできますか？

また、これを修正するためのHadoop設定のオプションはありますか？

Answer 1

オーバーレイネットワークにアクセスするコンテナの静的DHCPアドレスは、ここでは正式にはサポートされていません。https://github.com/moby/moby/issues/31860。

私は、このドッカーがすぐに解決策を提供することを願っています。