apache-spark-1.6

0熱

2答えて

--masterパラメータまたはspark.masterパラメータを指定せずに、bin/spark-submit --class DataSet BasicSparkJob-assembly-1.0.jarのように私のスパークジョブを送信しました。その仕事の代わりに私の3ノードスパーククラスターに提出されます。しかし、私はそれが何の情報も表示していないので、仕事を提出したのだろうかと思っていたRu

15熱

1答えて

PySparkシリアル化EOFError

私はCSVをSpark DataFrameとして読み込み、機械学習操作を行っています。私はPythonのシリアル化を続けていますEOFError - どんな考えですか？私はそれがメモリ問題、すなわち利用可能なRAMを超えているファイルだと思ったが、DataFrameのサイズを大幅に減らしてもEOFエラーを防ぐことはできなかった。下記のおもちゃコードとエラーです。単一ノード上と上記のコードを実