どのようにapacheは非rddがSystem.outが好きですか？

Question

イテレータを書いたとき（しばらく気に入っています）または非rdd、

どのように実際に非rddプロセスをスパークさせ、これをいかに正常化するのですか？

この

public static void main(String[] args) { 
    JavaSparkContext sc = ....; 
    int sum=0; 
    for(int i=0; 0<1000000; i++) 
     sum+=i; 
    sc.wrtieHadoop("/user/text/test.txt"); 
} 

Answer 1

このジョブは、ドライバによってハンドルで、フレームワークApacheのスパークの外にあるコードのすべてのブロックは、ドライバーで実行されますあります。

これは、ドライバで使用するメモリ量を理解する必要がある理由です。なぜなら、複雑な作業を行う場合や、何らかの理由でCollectを実行しようとしたとしても。すべてのプロセスはドライバで実行されます。これは、ドライバですべてを実行する前にsc.writeHadoop

public static void main(String[] args) { 
    JavaSparkContext sc = ....; 
    int sum=0; 
    for(int i=0; 0<1000000; i++) 
     sum+=i; 
    sc.wrtieHadoop("/user/text/test.txt"); 
} 

：あなたのコードが示すように、スパークを実行し、すべてそう

：下の画像を参照してください。それが終わった後、労働者は呼ばれるつもりです。