スパークストリーミング - 動的フィルタ

Question

私はスパークストリーミングジョブを持っています。入力RDDにフィルタを適用したい。

各スパークストリーミングバッチ中にHbaseからフィルタ条件を動的にフェッチしたいとします。

どうすればよいですか？

マップパーティションを使用して接続オブジェクトを1回作成できます。

しかし、スパークフィルタではどのように私は同じことを達成できますか？

Answer 1

私が思うに、正しいアプローチは、独自の（擬似コード）のフィルタ機能を書いている：

DStream<Integer> intDstream= someIntegerIntoDStream; 
intDstream.foreachPartition{ 
    create HBase connection here if you need it for a batch 
    while(arg0.hasNext()){ //here you have an iterator 
      Integer current = arg0.next(); 
      create HBase connection here if you need it for each element 
      //Here is your filter function: 
      if(current meets your condition) 
       arg0.remove(); 

だから何が起こるかは、あなたのエグゼキュータで実行されている、あなたは手動で各要素を選ぶ、条件を適用することですあなたの基準を満たしていればそれを取り除く。