-1
.collect（）のパフォーマンスを向上させるために、pysparkを調整する他の方法はありますか？pysparkで.collect（）を改善する方法は？
私はmap(lambda row: row.asDict(), x.collect())を使用しています。これは、10Kレコードに対して5秒以上かかるものです。
A
答えて
1
私はそれを試していないが、多分 Apache Arrowプロジェクトは、それが分散的に動作するようにあなたが収集する前に辞書にそれらを変換することができます
関連する問題
- 1. componentWillUnmountでclearTimeoutを改善する方法
- 2. matlabでFFT2を改善する方法
- 3. Three.jsの影 - 改善する方法は？
- 4. コードを改善する別の方法
- 5. フォールを改善する方法Javaコード
- 6. コードを改善する方法Laravel？
- 7. SaveAsTableのパフォーマンスを改善する方法
- 8. アキュムレータを改善する方法
- 9. このトリムハーフストリングアルゴリズムを改善する方法
- 10. LINQクエリを改善する方法
- 11. ノードのパスを改善する方法
- 12. ウェブアプリケーションを改善する方法
- 13. このコードを改善する方法
- 14. KeyDown機能を改善する方法
- 15. NetBeansスペルチェッカーの改善方法
- 16. BitmapFactory.decodebyteArray（）でメモリ使用量を改善する方法は？
- 17. スフィンクスでのセンテンスの検出方法を改善するには？
- 18. VerilogでのRAMコーディングの改善方法
- 19. 多くの方法でC＃でParallel.Forのパフォーマンスを改善する
- 20. このフィルタをsargeableまたはインデックスを改善する方法
- 21. AJAXでMVCを使用してSEOを改善する方法
- 22. WSO2 APIMクラスタリング - 応答時間を改善する方法は？
- 23. 実際の改善とランダムノイズを区別する方法は？
- 24. イメージの輝度コントラストを改善する方法は？
- 25. 依存性注入を改善する方法は？
- 26. Java - 印刷時のレンダリングを改善する方法は？
- 27. appiumのタップ間の時間を改善する方法は？
- 28. この方法を改善するには
- 29. Oracle Clobの更新中にパフォーマンスを改善する方法は？
- 30. タイプと検索、パフォーマンスを改善する方法は？
に役立つ可能性があります。 x.map（ラムダ行：row.asDict（））。私はこれが収集後に行うよりも速くすべきだと思います。 –