0
スパーク放送を使用してブロードキャストできる変数の最大サイズを測定しようとしています。スパーク放送変数の最大サイズを評価する
この問題に関する説明はありませんでした。
誰か測定しましたか？スパークはブロードキャストサイズの設定をしていますか？
A
答えて
0
現在は2GBまでです。あなたがブロードキャストしたものは、シリアル化中にjavaバイト配列に変換され、java配列の最大サイズはInteger.MAX_VALUEなので、この制限があります。現在のところ、この制限を増やす努力があるかもしれません：SPARK-6235
関連する問題
- 1. スパーク - 評価の問題
- 2. スパーク放送とシングルトンラッパー
- 3. スパーク変数は遅延評価されていますか？
- 4. アイテムごとのボタン、「管理」ページの最大数、過大評価
- 5. ロードスクリプトの変数の評価
- 6. bash変数の再評価
- 7. スパークに複数の要素またはキー値を評価
- 8. wpfツールキットの評価サイズ
- 9. 変数を評価する方法は？
- 10. windowsバッチ変数のサイズ最大
- 11. 関数を評価する
- 12. 真に評価する最初の変数を選択するPythonic方法
- 13. マップ内のJavascript変数の評価
- 14. 評価関数
- 15. 評価引数
- 16. Boto3 - 変数を評価しないDelete_snapshot
- 17. PHP、評価コードの結果が変数
- 18. 変数付きのXSL評価属性
- 19. Makefile変数の拡張/評価
- 20. 過小評価と過大評価のための異なるコスト
- 21. 最大サイズにウィンドウサイズを変更する
- 22. GDスター評価 - 上/下のサイズ - ヘルプ！
- 23. 変数内で変数を評価しますか？
- 24. Mathlinkと遅延評価/変数
- 25. 文字列変数とパラメータ評価
- 26. Python、変数として変数の値を評価
- 27. スパークのバイナリ分類の評価メトリック：AUCおよびPR曲線
- 28. Pyomo - baronソルバーを使用して関数評価の最大数を設定する
- 29. Scheme言語で浮動小数点変数を評価する
- 30. 同じテキストのCharとString変数の等価性評価