2017-05-14 7 views
0

複雑なJSONオブジェクトからAvroフォーマットにインポートされたデータを保存しています。Hadoop:Avroファイルのクエリ/読み込み

JSONオブジェクトは、ネストされたオブジェクトとオブジェクトの配列を持つオブジェクトで表されます。

{ 
    "type" : "record", 
    "name" : "userInfo", 
    "namespace" : "my.example", 
    "fields" : [{"name" : "username", 
       "type" : "string", 
       "default" : "NONE"}, 

       {"name" : "age", 
       "type" : "int", 
       "default" : -1}, 

       {"name" : "phone", 
        "type" : "string", 
        "default" : "NONE"}, 

       {"name" : "housenum", 
        "type" : "string", 
        "default" : "NONE"}, 

        {"name" : "address", 
        "type" : { 
         "type" : "record", 
         "name" : "mailing_address", 
         "fields" : [ 
          {"name" : "street", 
          "type" : "string", 
          "default" : "NONE"}, 

          {"name" : "city", 
          "type" : "string", 
          "default" : "NONE"}, 

          {"name" : "state_prov", 
          "type" : "string", 
          "default" : "NONE"}, 

          {"name" : "country", 
          "type" : "string", 
          "default" : "NONE"}, 

          {"name" : "zip", 
          "type" : "string", 
          "default" : "NONE"} 
          ]}, 
          "default" : {} 
       } 
    ] 
} 

私は(現在の私は純粋にHadoopを使用)アブロにJSONを変換すると、Hadoopの中にシリアル化されたファイルを格納するためにNiFiを使用します: enter image description here

私の質問:

アブロスキーマは次のようになります

テスト目的のために、HDFS(Avro形式)を保存したデータを照会したいと思います。

この時点で、私はちょっと混乱しています。なぜなら、Hadoopの多くのツールとテクノロジがあるからです。 どうすれば正しい方法で実行できますか?どんなツールとワークフローですか?

答えて

関連する問題