2016-05-17 8 views
1

を使用してDSEを開始することができません:我々が6ノードクラスタを実行しているSPARK_ENABLED = 1

HADOOP_ENABLED=0 
SOLR_ENABLED=0 
SPARK_ENABLED=0 
CFS_ENABLED=0 

、我々はそれらのすべてに火花を追加したいと思います。これは失敗しないので、「追加する」は適切な用語ではないようです。とにかく、ステップは我々がやった: 1.ノードの1 2. SPARK_ENABLED = 1とHADOOP_ENABLED = 0 3. sudoのサービスDSEの再起動

そして次しまったのは、/ etc/default/DSEを変更排水しましたログに:

2016年5月17日11 ERROR [メイン]:CassandraDaemon.java:294 12739 - 初期 org.apache.cassandra.exceptions.ConfigurationException中に致命的な例外は::51密告者のの場合はノードを起動できませんデータセンター(Analytics)は以前のデータセンター(Cassandra)と異なります。スニッチ設定を修正し、このノードを廃止して再起動するか、-Dcassandra.ignore_dc = trueフラグを使用してください。

既に回答された2つの関連の質問があります。

  1. Unable to start solr aspect of DSE search
  2. Two node DSE spark cluster error setting up second node. Why?

は残念ながら、ノード上のデータを消去することはオプションではありません - 私はなぜだろうそれを行う?私はデータが損なわれないようにする必要があります。

"-Dcassandra.ignore_rack = true -Dcassandra.ignore_dc = true"を使用すると、生産が少し怖いです。なぜ私はDSEが別のDCを作成したいのか理解できませんし、なぜ既存のDCを使用できないのですか?

私は、datastaxの文書によると、負荷が異なるワークロードに対して異なるDCを使用して分割する必要があることは知っています。私たちの場合、Cassandraが同じDCを使用して実行しているのと同じノードでSPARKジョブを実行したいだけです。

これは可能ですか?

ありがとうございます!

答えて

1

他の回答は正しいです。ここでの問題は、以前にこのノードを別のDCにあると特定したことを警告しようとしています。つまり、Network Topology Strategyを使用するキースペースには適切なデータがない可能性があります。たとえば、 "Cassandra"に1つのレプリカしかなく、DCを "Analytics"に変更したNTSキースペースがあると、誤ってすべてのデータが失われる可能性があります。

この警告および付随するフラグは、が本番クラスタでを実行してはならないことを示していることを示しています。

実際の解決方法は、GossipingFileSnitchを使用してdcの名前を明示的に指定し、DSSワークロードに基づいて名前を付けるSimpleSnitchには依存しないことです。

この場合、GPFSに切り替えて、DC名をCassandraに設定します。

+0

美しい、魅力的なように働いた。スニッチを変えることに関して少し懐疑的だったが、うまくいった。ありがとうございました! – Pavel

+0

:)スニッチをGPFSに変更することは、ほとんどの場合、クラスタをセットアップする正しい方法です。 – RussS

関連する問題