mapに渡される関数は決して呼び出されません。

Question

私は、map関数をsparkで利用できる関数呼び出しをしようとしています。 私はスパークチュートリアルのページ（https://spark.apache.org/docs/1.2.0/programming-guide.html）で与えられたことをしました。しかし、関数myFuncは決して呼び出されません。少なくともそれは私の考えです。私は何か間違ったことをしているのか何かを逃しているのか分かりません。 これは、次のコードである。

from pyspark import SparkContext 
if __name__ == "__main__": 
    def myFunc(s): 
     print("@@") 
     words = s.split("\n") 
     print("##") 
     return len(words) 


    sc = SparkContext("local","test") 
    sc.textFile("C:\\TestLogs\\sample.log").map(myFunc) 
    print("**") 

出力：

** 

実際には、これはファイルの場所を除いてスパークドキュメントから同じ例です。

Answer 1

コードには、変換（例：「マップ」）を実行するために必要なスパーク「アクション」（「収集」など）がないようです。

は、以下のことを試してみてください。私は、Pythonを知らないが、あなたとあなたの関数を定義した（https://stackoverflow.com/a/27301040/5088142）

myrdd = sc.textFile("file:\\C:\\TestLogs\\sample.log") 

Answer 2

は、ちょうど変換map(myFunc)と呼ばれていないようです。彼らはすぐに その結果を計算していないという点で、スパークで

すべての変換は、怠け者です。代わりに、彼らはちょうど 変換を記憶しますは、いくつかの基本データセット（例えば、ファイル）に適用されます。 変換アクションが にドライバプログラムに返される結果を必要とするときだけ計算あります。

map(myFunc).saveAsTextFile("folder/here.txt")または他のactionをお試しください。