sparkでjsonを読む

Question

私は 'text'型の列を持つcassandraにテーブルを持っています。 保持する値は、jsonタイプのデータです。

したがって、各レコードでこの列の値は次のようになります。

{ "A"： "1"、 "B"： "5"、 "C"： "3"、 "D"： "12"}

同様に次のレコードでは、値の何かを持っています等

{ "A"： "12"、 "B"： "52"、 "C"： "13"、 "D"： "3"}

だから私が言うことができ、このです列は各レコードにjson値を持ちます。

私の要件は、spark/sparksqlを使用して各レコードの "b"と "d"の値を調べることです。

Answer 1

Cassandraテーブルを読み込んだ後、テキスト列でユーザー定義関数（UDF）を実行できます。そのudfでは、文字列をJSONオブジェクトに変換して必要なフィールドに戻すことができます。