スカラのマップのrddから鍵の値を取得する

Question

マップとして要素を持つRDDがあります。もちろん、RDD.getは使用できません。だから、今のように、私はこのマップのキーの値を取得するには、次の操作を行います。

val x = RDD.collect().flatten.toMap 

、その後

x.get(key) 

のキーの値を取得します。今、rddに.collect（）を適用しているので、エラーjava.lang.OutOfMemoryError: GC overhead limit exceededを出力する本当に大きなrddがあります。 .collect（）をrddに適用せずにどうすればいいですか？あなたがに見る必要があるマップのRDDをフィルタリングするためにあなたのドライバ、あなたの最初の必要性にすべてのものに合わせて、それが本当にあるならば取得...

val rdd = sc.parallelize(List(Map("a"->1,"b"->2),Map("c"->3,"d"->4))) 

val key = "d" 

val filteredRDD = rdd.filter(_.keySet contains key) 

if (!filteredRDD.isEmpty) filteredRDD.first.get(key) else None 

Answer 1

Map Sはその後、次の操作を実行できます。

rdd.flatMap(identity).lookup(key) 

これはまだ意志ドライバへの出力が、そのキーから値のみが、。だから、もしそれが記憶に収まるならば、あなたはそれでうまくいくのです。しかし、あなたはその後、まだRDDとしてそれで作業する場合：

rdd.flatMap(identity) 
    .flatMap{case (key, value) => if(key == myKey) Some(value) else None} 

そして、あなたはキーと値その後、あなたは、再現を共有することができkey == myKey

Answer 2

を行うことはできませんので