google.gson.JsonArray形式のMongoDBから大きなデータセットを返す効果的な方法

Question

私は10000+レコードを返すmongo DBクエリを持っています。ビジネスサービスでは、GSON（Google JSON）形式でレコードを返します。以下はコードスニペットです。

 String mongoClientURI = null; 
     mongoClientURI = "mongodb://" + dbUser + ":" + pwd + "@" + host + ":" + port + "/" + databaseName; 


     MongoClient client = new MongoClient(new MongoClientURI(mongoClientURI)); 
     MongoDatabase db = client.getDatabase(databaseName); 

     // Find query returns more than 10K records 
     FindIterable<Document> dbResult = db.getCollection("mycollection").find(); 

     // This line takes too much time & CPU  
     List<Document> result = getDocumentArray(dbResult); 

     // This line takes too much time & CPU 
     JsonArray finalResult = getJSONArray(result); 

    public static List<Document> getDocumentArray(FindIterable<Document> input) { 
     List<Document> output = new ArrayList<Document>(); 
     for (Document doc : input) { 
      output.add(doc); 
     } 
     return output; 
    } 

    public static JsonArray getJSONArray(Iterable<Document> docs) { 
     JsonArray result = new JsonArray(); 
     if (docs == null) { 
      return result; 
     } 

     for (Document doc : docs) { 
      JsonObject jsonObject; 
      JsonParser parser = new JsonParser(); 
      try { 
       jsonObject = parser.parse(doc.toJson()).getAsJsonObject(); 
       result.add(jsonObject); 
      } catch (Exception e) { 
       System.out.println(e.getMessage()); 
      } 
     } 
     return result; 
    } 

問題はフェッチとGSONアレイへのMongoDBのデータのconvesionをしながら、それは時間とCPUサイクルがかかるです。誰でもmongodbからgson形式に大きなデータセットをフェッチする効果的な方法は何ですか？

は、一般的に私の周り10K、20Kへの記録、（50K max）を取得します。私はそれらのすべてを返す必要があります。私のUIコンポーネントでは、データをレンダリングするためには、すべてのレコードが必要です。一般の人々は、したがって、それは一度にあまりにも多くのレコードを持っていませんが、私の場合、私は&は、オンザフライでのオブジェクトのクラスタを作成し、すべてのレコードを取るマップコンポーネントを持って、ページングとデータグリッドを使用します。

ご協力いただければ幸いです。

アトゥールSureka

Answer 1

効果的な方法は、一度にすべての文書を返し、ページングを実装する代わりにskip()とlimit()機能を使用しないだろう。あなたのコレクションはのは、万枚の書類を言わせている場合は、メモリ内の大規模なListで終わるだろうとあなたも一度にUI上のすべての文書を表示する必要がない場合があります。ここで

あなたはページングを実装することができます方法は次のとおりです。

1st Call : db.getCollection("mycollection").find().limit(10); 
2nd Call : db.getCollection("mycollection").find().skip(10).limit(10); 
3rd Call : db.getCollection("mycollection").find().skip(20).limit(10); 

skipは、ページあたりlimitドライブの項目に対し、ページ番号を駆動します。 sortも使用して、注文書（here'sのドキュメント）を定義することができます。

別のアプローチは、cursorにすべての文書をスクロールして、キュー/クライアントにプッシュするキューイングメカニズムやストリーミングを使用することです。

更新

これは、あなたがより速く、既存の実装を作るために何ができるかです：

• はthisを見てみましょう（速い文書を処理するためにparallelStreamにIterable変換SO再どのように答えます
• は、各ドキュメントのJsonParserインスタンスを作成しないでくださいIterable）streamに変換します。インスタンスを一度作成し、すべてのドキュメントに使用します。アプリケーション

Answer 2

ため

増加Xmx値は、MongoDBの中の列に索引を追加することがありますか？クエリをより速く取得/読み込むのに役立ちます。デフォルトの索引は_id列にあります。あなたが一定の基準に基づいて発見するため

別の方法があり、2

db.getCollection("mycollection").find({ dept: "grocery", category: "chocolate" }); 
db.getCollection("mycollection").find({ dept: "sales", category: "honey" }); 

にこれを分割したデータの選択は、あなたのは次のようになり、実際にその大きさである場合には、後に