distributed-computing

    1

    1答えて

    中変化並列Iは、2つの部分に分割されたジョブを持っている: 最初の部分は、HBaseのからデータを取得 スパークを用いseoncd部分が 重いCPU集中MLアルゴリズムを計算します 問題は、エグゼキュータ/コアの数が多い場合、HBaseクラスタが過度に積極的にクエリされ、これにより生産が不安定になる可能性があることです。 エグゼキュータ/コアの数が少なすぎると、MLの計算に時間がかかります。 起動

    0

    1答えて

    ClusterSpecを分散設定で作成する場合は、hostname: portをworkers/psに割り当てる必要があります。 portを選択するためのルールはありますか?それとも、任意の数字に設定することは自由ですか?

    0

    1答えて

    せずに名前ノードを実行することができ、私はこの質問は前に頼まれたことを知るには、下記の溶液を見た: <!-- to be modified in hdfs-site.xml--> <property> <name>dfs.name.dir</name> <value>/home/hduser/hadoop/data</value> </proper

    1

    1答えて

    を実行することができませんが、jarファイルを作り、MapReduceのコードを実行するために、この行を書いた: hadoop jar /home/xyz/Documents/hadoop-2.7.3/abc1.jar woq.WordCount /test/vocab.txt /test/output3 のjarファイル名が abc1.jar です、woqは、次のエラーが表示され、パッケージ

    0

    1答えて

    mesosのさまざまな役割に対する重みの概念を理解したいと思います。私はrole1に2.0の重みを付け、role2に5.0の重みを与え、mesosクラスタでsparkフレームワークを開始し、同じ量のリソースを求めました。私は、リソースが2つの役割のために割り当てられた方法に何の変化も見ませんでした。だから私はウェイトを与えることの重要性を知り、ウェイトを使ってリソース予約の例を示したかったのです。

    0

    1答えて

    "Distributed TensorFlow" how-toを受け取り、"MNIST For ML Beginners"チュートリアルに適用しようとしました。私は(8つのコアがPCである)3人のTensorFlow労働者がローカルノードを開始し、このライン交換でトレーニングスクリプトを実行した次に sess = tf.InteractiveSession() を: 12346はどこのポートで

    0

    1答えて

    動物園のドキュメンテーションを読み始めました。 zkにはサーバー(フォロワー+リーダー)とクライアントがあります。実際にzkのクライアントは誰ですか?それが調整する分散システムのノードは? も のZooKeeperアプリケーションは、数千台のマシン上で実行することを読んで、それが実行最高約10の比率で、書き込みよりも一般的で読み込む場所:1。 これは、zノードの数が何千ということを意味しますか?そ

    0

    1答えて

    私はマスターと6つのエージェントを持つmesosクラスタを持っています。私は、ユーザーの認証を有効にして、mesos-masterを起動している間にその役割でユーザーの資格情報を渡しました。今や、新しいユーザーをマスターに動的に追加したいと思っていました。メソスマスターを止めることなく、どうすればいいですか?

    0

    1答えて

    同一のトポロジを実行する2つの分離されたストームクラスタがあります(フェールオーバーの理由)。私は今いつでも1つのセットアップからデータソースにデータを送信する必要があります(つまり、シンク内のデータを複製しないようにする必要があります)。シームレスでなければなりませんが、切替えの間に最小のダウンタイムで問題はありません。 これを達成するためにどのような同期メカニズムを使用できますか?

    0

    1答えて

    ヘイゼルキャストサーバーを4つのインスタンスで開始しました。それぞれのインスタンスに対して、私は4つのインスタンスに接続しようとしたときに異なるグループ名を与えました。ヘーゼルキャストはデフォルトで5701,5702,5703のみをチェックし、5704は検索しません。ヘイゼルキャストクライアントを設定してすべてのインスタンスを探すことができます以下はログです com.hazelcast.clien