Cogroup on Spark DataFrames

Question

私の仕事の場合、アソシエーションキーに基づいてマージする2つの大きなDataFramesがあります。 joinを使用すると、タスクの完了に時間がかかります。

Apache Sparkの結合よりも好ましいのはcogroupです。誰でもDataFrames上でcogroupを使用する方法を指摘したり、2つの大きなFataFramesをマージするためのより良い方法を提案することができます。

は

Answer 1

DataFrameはcogroup機能のいずれかの同等のものを提供していないと複雑なオブジェクトは、スパークSQLで第一級オブジェクトではありません、ありがとうございました。複雑な構造で使用できる一連の操作はかなり制限されているため、一般的にカスタム表現を作成したり、UDFを使用したり、パフォーマンスのペナルティを支払う必要があります。さらに、Spark SQLは、同じjoinロジックをプレーンRDDsとして使用しません。

RDDについて。 がjoinより好都合であるかもしれない境界ケースが存在するが、典型的には、完全なデータセットの結果 - >デカルト積でない限り、そうであってはならない。 RDD上のすべての結合がcogroupとそれに続くflatMapValuesを使用して表され、後者の操作がローカルなので、実際のオーバーヘッドは出力タプルの作成だけです。

テーブルにプリミティブ型だけが含まれている場合は、最初にcollect_listという列を集約することで、共同グループのような動作を模倣することができますが、ここではパフォーマンスは期待できません。