2017-11-06 7 views
-3

私はpythonファイルにpythonコードを持っています。私はどの場所にあるのpythonコードを実行する方法を知りたいです。私はUbuntu OSを使用しています。 Jsonを1つのURLから取得し、SPARKを使用して散布グラフとして表示する必要があります.PYSPARKを初めて使用しています。これを達成する方法を教えてください。あなたは(コマンドライン端末を使用して)火花をあなたのPythonスクリプトを実行するに火花submitコマンドを使用する必要があり、Sparkでpythonファイルを実行するには

`import multiprocessing 
import time 
import json 
from sseclient import SSEClient as EventSource 
# 'Complete your function here i cant understand what you are doing' 
# i just placed the code inside check once i dont have the package so u try it 
def func(n): 
    file = open('w.txt','w',encoding='utf8') 
    url = 'https://stream.wikimedia.org/v2/stream/recentchange' 
    print(1) 
    url = 'https://stream.wikimedia.org/v2/stream/recentchange' 
    json_st='' 
    stt='' 
    for event in EventSource(url): 
     if event.event == 'message': 
      try: 
       change = json.loads(event.data) 
      except ValueError: 
       pass 
      else: 
       print(1) 
       file.write(str(event.data)) 
       #if file.write(str(event))count <= 10: 
       #print(event.data) 
       #print(event.data) 
       #js=json.loads(event.data) 
       ##print(js['comment']) 
       #file.write(stt) 
       #print(stt) 
       #file.write(str(event)) 
       # count = count + 1 
       #else: 
       # break 
    #print(stt) 
    #json_str={s} 


if __name__ == '__main__': 
    # Start your process as a process 
    p = multiprocessing.Process(target=func, name="func", args=(10,)) 
    p.start() 

    # Wait 3(give your time in secs) seconds for foo 
    time.sleep(3) 

    # Terminate func 
    p.terminate() 

    # Cleanup 
    p.join()` 

答えて

0

を私の次のコードを見つけてください。

spark-submit /home/sample.py 
+0

おかげサヒールご返信用:)あなたはSahil.itは私が同様DATAFRAMEことができませんでしたoutput.evenを取得できませんでした任意のerror.Butを投げていないと述べたと.Iは同じことをやりました。私はJSONデータ(上記のURLのコードから)を使用して散布図をレンダリングします。これについて助けてガイドしてください。私はPYSparkに新しいです。それは私をたくさん助けるでしょう。事前に感謝 –

関連する問題