distributed-computing

1熱

2答えて

Sparkジョブのさまざまな段階でCPU /コア/エグゼキュータを最適化するにはどうすればよいですか？絵下記のよう

を示しています マイスパーク仕事は三つの段階があります。 0. groupBy 1. repartition 2. collect ステージ0および1は、しかし、ステージ2は非常にCPU集中型で、かなり軽量です。 1つのSparkジョブの異なるステージに異なる構成を設定することはできますか？私は考えた は、2つのサブものにこのスパークジョブを分離し、それはメモリに格納された全ての中間結果を

performance apache-spark distributed-computing 2017-09-14

---

1熱

2答えて

パイソン＆スパーク：DATAFRAME書き込みは、私は、ローカルファイルシステムへの私のデータフレームを作成したいファイルシステム

に持続しません： path = "/tmp/test" df = spark.sql(select_str) df.write.parquet(path, mode="overwrite", compression="snappy") コードがエラーなしで実行されますが、私はtmpに見たときに何testがないと私は戻ってpyarrow寄木細工にそれを読みたい場合も： IOError: P

python apache-spark io pyspark distributed-computing 2017-09-19

---

0熱

1答えて

特定のノードに対して実行可能ファイルを指定するOpenMPI

OpenMPIを使用して並列コンピューティングタスクを実行する異機種コンピューティングクラスタがあります。クラスタ内のすべてのノードが同じ実行可能ファイルを実行できるわけではないため、いくつかのノードが独自のバージョンのプログラムをコンパイルし、それらのノード上でOpen MPIに実行可能ファイルを呼び出させたいと思います。私の最初の質問は、OpenMPIが異機種アーキテクチャ間でこの種のコンピュ

mpi distributed-computing openmpi 2017-09-24

---

2熱

1答えて

Sequential Consistencyと最終的な一貫性の違いは何ですか？

インターネットで見つけた定義は2つあります。 順次整合性 - 実行結果は、すべてのプロセッサの動作が何らかの順番で実行された場合と同じであり、個々のプロセッサの動作そのプログラムによって指定された順序でこの順序で現れる。 最終的な一貫性 - 特定のデータ項目に新しい更新が加えられなかった場合、最終的にその項目へのすべてのアクセスは最後に更新された値を返します。 定義は私にとっては明らかです。しかし

distributed-computing distributed-system consistency eventual-consistency 2017-09-25

---

2熱

1答えて

分散Tensorflow：CreateSessionはまだ待機しています

以下の単純なスクリプトは、そのヘッダーにargsを付けて起動します。それは異なった動作をしますが、しばしば作業者の1人がハングし、これらの "CreateSessionはまだ他のタスクを待っています"というメッセージを表示します。なぜ新しいMonitoredTrainingSessionは他のものを必要としますか？そして、他の人たちはなぜそれが始まるのを待たないのですか？ # #!/bin/bas

python tensorflow distributed-computing distributed 2017-09-26

---

0熱

1答えて

クラスタモードのレディスロックを有効にしました

redisスタンドアロンがどのように楽観的なロックを提供するのかを読んでいます。私はまた、分散ロックのために利用可能なredisウェブサイト上のRedlockアルゴリズムに出くわしました。 ここでわからないことは、Redisで分散ロック（クラスタモードが有効）が必要な理由です。 分散モードでは、最大15個のシャードを持つことができ、各シャードは重複しないレコードを持つことができます。共有データがな

database redis locking cluster-computing distributed-computing 2017-09-27

---

0熱

1答えて

共有ボリューム上のファイルをロックする一般的な方法は何ですか？

私はJavaを使って分散アプリケーションを作成しています。 私は共有ボリュームV1を持っています。これはマシンM1からアクセスされ、マシンM2からアクセスされます。マシンM1はV1にファイルを書き込み、マシンM2はV1からファイルを読み込みます。 マシンM2は、マシンM1によってまだ書き込まれているファイルを読み込もうとします。 複数のライターが存在し、複数のリーダーがすべて同じファイルを対象とす

file synchronization locking distributed-computing 2017-09-27

---

0熱

1答えて

受信呼び出しを非同期にすることができないのはなぜですか？

分散コンピューティング受信呼び出しを非同期にすることができないのはなぜですか？

distributed-computing distributed-system 2017-10-02

---

1熱

1答えて

テーブルの行数が多い場合、NDB cluster7.5（MySQL 5.7）がデータを取得するのに時間がかかります

私のリアルタイムアプリケーションの1つにNDBクラスタ（MYSQL 5.7）を設定しようとしています読み取りと書き込みの並行性が高い）。 マイセットアップ - 3つのデータノード 1管理ノード 1 MySQLのノード すべてのノードは、Amazon EC2のr3.4xlarge型です。 OS - centos 7 私は1つのテーブルを作成し、同じ主キーデータが単一ノードになるようにプライマリキーで

mysql database distributed-computing rdbms mysql-cluster 2017-10-03

---