python sparkがエグゼキュータのhttpサーバにアクセスできない

Question

私はPython Sparkを使用していますが、各パーティションでhttpにアクセスしようとしていました。しかし、それは常にそこに立ち往生し、次のようにサンプル：

sc = SparkContext(appName="Fetch Http") 
lines = sc.textFile("urls.txt", 10) 
lines.map(fetch).saveAsTextFile("hdfs://node1/pages") 

def fetch(url) 
    http = urllib3.PoolManager() 
    postResponse = http.request('POST',url,headers=JSON) 
    jData = json.loads(postResponse.data) 
    vectorStr = contertFun(jData) 
    return vectorStr 

Answer 1

あなたのコードを持ついくつかの問題：接続はちょうどそれが

あなたドンを立ち往生ますハングので、もし

• あなたがタイムアウトを提供していません。あなたは

Ovと、それを再利用することはできません接続プールを使用

を保存するためには何もありませんので、「tは何も返さそれはあまり意味がないとは言えません。