スパークデータフレームのパーティション数

Question

誰でもスパークデータフレーム用に作成されるパーティションの数について説明することができます。

私はRDDの場合、作成中に以下のようなパーティションの数を言及することができます。

val RDD1 = sc.textFile("path" , 6) 

しかし、RDDのようなパーティションの数を指定するオプションがないように、スパークデータフレームを作成しているようです。

データフレームを作成した後、私たちはパーティション分割APIを使うことができます。

df.repartition(4) 

データフレームの作成中にパーティションの数を指定できるかどうかを教えてください。

Answer 1

一般的なケースではありませんが、少なくとも一般的なケースではありませんが、RDDと比べてそれほど違いはありません。たとえば、textFileのコード例では、minimum number of partitionsの制限のみが設定されています。一般的に

：

ローカル spark.default.parallelismを使用するローカルコレクションに rangeか toDFのような方法を使用して生成

• Datasets。
• DatasetsRDDから作成したものは、その親からのパーティション数を継承します。スパーク1.xで
  • は、典型的には、Hadoopの構成（最小/最大分割サイズ）に依存：

  • Datsets

  データソースAPIを使用して作成しました。
  • スパーク2.x there is a Spark SQL specific configuration in use。
• 一部のデータソースでは、パーティション化をより詳細に制御できるオプションが追加されている場合があります。たとえば、JDBCソースを使用すると、パーティションの列、値の範囲、および必要なパーティション数を設定できます。