単語を行に結合する

Question

テキストファイルがあり、6単語以上の行をフィルタリングする必要があります。 私はRDDを作成します。

my_data = sc.textFile("lines.txt") 

その後、私は言葉でそれぞれの行を分割：

line_words = my_data.map(lambda x: x.split(' ')) 

とフィルタを適用し、結果をファイルに保存します。

filtered_lines = line_words.filter(lambda x: len(x) > 6) 
filtered_lines.saveAsTextFile("out") 

そして、初期ファイルから：

hello world 
its fun to have fun but you have to know how 

私が取得：

[u'its', u'fun', u'to', u'have', u'fun', u'but', u'you', u'have', u'to', u'know', u'how'] 

にはどうすればカッコなしでバックラインに単語を組み合わせて、u''のですか？

は、私はそのような何かよく知っている：

my_data.filter(lambda x: len(x.split(' ')) > 6).saveAsTextFile("out") 

をしかし、私は人間のために結果を読みやすくする方法を学びたいです。

Answer 1

あなたは文字列が区切り文字列に配列の要素を変換する文字列 .join（配列）機能を使用することができます。

line = [u'its', u'fun', u'to', u'have', u'fun', u'but', u'you', u'have', u'to', u'know', u'how'] 
sentence = " ".join(line) 

はあなたが何を意味するか、このですか？

Answer 2

分割を一切スキップして処理を保存できませんでしたか？フィルタの単語数（たとえば、行内のスペースの数）をカウントしているだけです。

また、同じフィルターステップでsplitと> 6フィルターを実行することもできます。あなたは個々の言葉を利用していないので、そのデータ構造を維持する必要はありません。