-3
私はpythonファイルにpythonコードを持っています。私はどの場所にあるのpythonコードを実行する方法を知りたいです。私はUbuntu OSを使用しています。 Jsonを1つのURLから取得し、SPARKを使用して散布グラフとして表示する必要があります.PYSPARKを初めて使用しています。これを達成する方法を教えてください。あなたは(コマンドライン端末を使用して)火花をあなたのPythonスクリプトを実行するに火花submitコマンドを使用する必要があり、Sparkでpythonファイルを実行するには
`import multiprocessing
import time
import json
from sseclient import SSEClient as EventSource
# 'Complete your function here i cant understand what you are doing'
# i just placed the code inside check once i dont have the package so u try it
def func(n):
file = open('w.txt','w',encoding='utf8')
url = 'https://stream.wikimedia.org/v2/stream/recentchange'
print(1)
url = 'https://stream.wikimedia.org/v2/stream/recentchange'
json_st=''
stt=''
for event in EventSource(url):
if event.event == 'message':
try:
change = json.loads(event.data)
except ValueError:
pass
else:
print(1)
file.write(str(event.data))
#if file.write(str(event))count <= 10:
#print(event.data)
#print(event.data)
#js=json.loads(event.data)
##print(js['comment'])
#file.write(stt)
#print(stt)
#file.write(str(event))
# count = count + 1
#else:
# break
#print(stt)
#json_str={s}
if __name__ == '__main__':
# Start your process as a process
p = multiprocessing.Process(target=func, name="func", args=(10,))
p.start()
# Wait 3(give your time in secs) seconds for foo
time.sleep(3)
# Terminate func
p.terminate()
# Cleanup
p.join()`
おかげサヒールご返信用:)あなたはSahil.itは私が同様DATAFRAMEことができませんでしたoutput.evenを取得できませんでした任意のerror.Butを投げていないと述べたと.Iは同じことをやりました。私はJSONデータ(上記のURLのコードから)を使用して散布図をレンダリングします。これについて助けてガイドしてください。私はPYSparkに新しいです。それは私をたくさん助けるでしょう。事前に感謝 –