spark 2カスタムデータソース - 配列列をnullに設定するにはどうすればいいですか？

Question

私はカスタムスパークデータソースを持っています。データはJavaライブラリから提供されています。一部のフィールドはArrayTypeで、時にはNULLです。私は配列フィールドをNone、null、lit（null）、Option（null）、おそらくいくつかの他のバリアントに設定しようとしましたが、配列フィールドを解決しようとすると触媒がNPEを投げます。

私が知る限り、CatalystはArrayConverter（CatalystTypeConverters.scalaの）のtoCatalystImpl（）メソッドでnullのチェックを行いません。これはCatalystのバグですか、あるいはデータフレームArrayTypeフィールドのための他のヌルエンコーディングがありますか？

Answer 1

私の悪いことに、問題を発見しました（間違ったコードをハッキングしました）。最終的な答えは "Option（null）"のようです。私はNoneとlit（null：）を試しましたが、どちらも例外を投げました。