複雑なJSONオブジェクトからAvroフォーマットにインポートされたデータを保存しています。Hadoop:Avroファイルのクエリ/読み込み
JSONオブジェクトは、ネストされたオブジェクトとオブジェクトの配列を持つオブジェクトで表されます。
{
"type" : "record",
"name" : "userInfo",
"namespace" : "my.example",
"fields" : [{"name" : "username",
"type" : "string",
"default" : "NONE"},
{"name" : "age",
"type" : "int",
"default" : -1},
{"name" : "phone",
"type" : "string",
"default" : "NONE"},
{"name" : "housenum",
"type" : "string",
"default" : "NONE"},
{"name" : "address",
"type" : {
"type" : "record",
"name" : "mailing_address",
"fields" : [
{"name" : "street",
"type" : "string",
"default" : "NONE"},
{"name" : "city",
"type" : "string",
"default" : "NONE"},
{"name" : "state_prov",
"type" : "string",
"default" : "NONE"},
{"name" : "country",
"type" : "string",
"default" : "NONE"},
{"name" : "zip",
"type" : "string",
"default" : "NONE"}
]},
"default" : {}
}
]
}
私は(現在の私は純粋にHadoopを使用)アブロにJSONを変換すると、Hadoopの中にシリアル化されたファイルを格納するためにNiFiを使用します:
私の質問:
アブロスキーマは次のようになりますテスト目的のために、HDFS(Avro形式)を保存したデータを照会したいと思います。
この時点で、私はちょっと混乱しています。なぜなら、Hadoopの多くのツールとテクノロジがあるからです。 どうすれば正しい方法で実行できますか?どんなツールとワークフローですか?