Explode Spark JSONを含むDataframeカラム

Question

JSONオブジェクトを含むデータフレームにカラムがあります。私のデータフレームの各行について、JSONを抽出して解析し、特定のフィールドを取り出したいと思います。一旦抽出されると、新しい列要素として行にフィールドを追加したいと思います。

私は、データフレーム上で利用できるだけでなくforeach()、flatMap()とmap()が、この種の処理に適している識別することができていないようexplode()方法を見てきました。

Answer 1

地図が必要な場合があります。これを使用すると、jsonを解析し、必要なフィールドを選択し、これらの追加の列を使用して新しい行を戻すことができます。

マップは一般に、1：1のユーザー定義関数（たとえば、各入力行に1つの出力行）で使用されます。フラットマップは、1：n（各行は任意の数の行を返すことがあります）のユーザ定義関数に使用されます。