Spark Dataframe最大カラム数

spark Dataframeの最大カラム数はいくらですか？私はデータフレームのドキュメントから取得しようとしましたが、それを見つけることができませんでした。Spark Dataframe最大カラム数

2016-09-07 Saran

アーキテクチャ上、スケーラブルなので、列数に制限はありませんが、ノードの負荷が不均一になる可能性があります。&は、変換の全体的なパフォーマンスに影響する可能性があります。

2016-09-07 17:19:52 KiranM

正しくありません。ハードリミット（Int.MaxValue）は簡単に見つけることができますが、スパークは長くて比較的薄いデータだけをスケールします。基本的に、エグゼキュータ/パーティション間で1つのレコードを分割することはできません。また、非常に幅広いデータを非実用的にする多くの実用上の制限（GC、ディスクIO）があります。いくつかの既知のバグはもちろんですが。 – zero323

そのため、ほとんどの（私が知る限り）プログラミングモデルは、長くて細いデータに対しても「よく」スケールされます。（1つの基本的な理由により、スレッシュホールド後にストレージの次の関連「論理ユニット」に書き込むためにレコードが破壊される）ほとんどの「ビッグデータ」フレームワークは、制限のないデータを処理するように設計されています。しかし、技術的な限界を克服し、パフォーマンスが低下します。だから私は私たちが上記の限界に達する前に私たちはメモリエラーを取得すると思います。あなたの考え？ – KiranM

Spark Dataframe最大カラム数

答えて

関連する問題