Spark Multi Clustersを使用したSQLクエリの改善

Question

Sparkでマルチクラスタを使用すると、SQLクエリが遅くなることがあります。私はマスターのために2人の労働者を作り、地元のスパークスタンドアローンで働いています。はい、私はローカルマシン上のワーカーを作成するためにメモリとコアの数を半分にしました。私はsqlContextのパーティションを、partitionColumn,lowerBound、UpperBound、numberPartitionsを使用して指定しました。これにより、作業（またはパーティション）を作業者に分散させることができます。私は（partitionColumnが一意である）以下のようにそれらを説明：

df = sqlContext.read.format("jdbc").options(
    url = "jdbc:sqlserver://localhost;databasename=AdventureWorks2014;integratedSecurity=true;", 
    driver = "com.microsoft.sqlserver.jdbc.SQLServerDriver", 
    dbtable = query, 
    partitionColumn = "RowId", 
    lowerBound = 1, 
    upperBound = 10000000, 
    numPartitions = 4).load() 

私はオプションを指定した後、マスター上で、私のスクリプトを実行したが、私は、クラスタなしで火花上で動作しているときに対して任意のパフォーマンスの向上を得ることができませんでした。私は実験の完全性のために記憶を半分にしてはならないはずであることを知っています。しかし、それが事実かどうか、あるいはそうでない場合は何らかの理由があるかどうかを知りたいと思います。どんな考えも歓迎です。どうもありがとう。

Answer 1

ここではさまざまな要因がありますが、これらのそれぞれの重みはケースバイケースで異なる場合があります。

• は、単一のマシン上の労働者の数を増やすことでmtotonicely pointed outとして、任意のパフォーマンスの向上をもたらすことはほとんどありません。

  1台のマシン上の複数のワーカーは、同じ固定プールにアクセスできます。ワーカーは処理自体に参加しないので、管理のためにこのプールのより高い部分を使用するだけです。

  実行者のJVMの数が多いほうが正当な場合がありますが、これは従業員数の増加と同じではありません（前者はアプリケーションリソース、後者はクラスタリソース）。

• ベースラインとマルチワーカー構成に同じ数のコアを使用するかどうかは不明ですが、コアはSparkの使用を考慮する必要がある唯一のリソースではありません。典型的なSparkジョブは、IO（主にネットワークとディスク）にバインドされています。ディスクとネットワークの設定が十分であることを確認せずに、単一のノード上のスレッドの数を増やすと、データを待つだけになります。

  コアを増やすだけでは、CPUにバインドされているジョブ（通常は1台のマシン上でのスケーラビリティ）が向上します。

• 外部リソースが要求に追いつけない場合は、Sparkリソースを使って手伝ってもお手伝いできません。レプリケートされていない単一のデータベースから多数の同時バッチ・リードを実行するだけで、サーバーが絞られます。

  この特定のケースでは、Sparkと同じノード上でデータベースサーバーを実行すると、さらに悪化します。これにはいくつかの利点があります（すべてのトラフィックがループバックを通過できます）が、データベースとSparkが異なるディスクセットを使用しない限り、ディスクIO（および他のリソースも含む）と競合します。

注：

query何であるか明確ではないが、データベースに対して直接実行する場合には、遅い場合は、それも遅くスパークからそれをしますフェッチ。おそらく、クエリやデータベースの構造と構成を最初に詳しく見ておくべきでしょう。