RDDのすべてのx [i]番目の要素を取得する

entries = sc.textFile(...).map(lambda line: line.split("\t")).map(lambda row:(int(row[0]),row[1])) 
some_set = set() 
for entry in entries.collect(): 
    some_set.add(entry[1])

上記を行うには、より良い方法がありますか？私はちょうど各エントリのi番目の要素を取得したい。だから、基本的にあなたが記述するものRDDのすべてのx [i]番目の要素を取得する

出典

2017-01-13 melwin_jose

あなたが値を収集しているとき、コレクト避けたいのはなぜ？ 'entires.map（x => x [0]）。collect（）' –

を実行してください。私は間違って質問を枠組みしました。 RDD全体をドライバにロードせずにx [i]をセット/リストに格納できるかどうかを知りたい。 –

は次のとおりです。

set(entries.keys().distinct().collect())

または一般

set(entries.map(operator.itemgetter(i)).distinct().collect())

出典

2017-01-13 19:58:44 user7337271

それは第1の要素 –

である必要はありませんので、第2の解決策はentries.collect（）よりも優れていますか？これは、RDD全体ではなくx [i]番目の要素だけを収集するためですか？ –

'distinct '要素だけを' collects'するのでより良いでしょう。それはあなたがより良いことはしません地元の 'set'したいです。あなたは 'distinct'で一意の停止をしたい場合。 – user7337271

RDDのすべてのx [i]番目の要素を取得する

答えて

関連する問題