スパークset_hadoop_configエラー

Question

誰でもこのエラーの原因を知っていますか？基本的に見えます。

def set_hadoop_config(credentials): 
prefix = "fs.swift.service." + credentials['name'] 
hconf = sc._jsc.hadoopConfiguration() 
hconf.set(prefix + ".auth.url", credentials['auth_url']+'/v2.0/tokens') 
hconf.set(prefix + ".auth.endpoint.prefix", "endpoints") 
hconf.set(prefix + ".tenant", credentials['project_id']) 
hconf.set(prefix + ".username", credentials['user_id']) 
hconf.set(prefix + ".password", credentials['password']) 
hconf.setInt(prefix + ".http.port", 8080) 
hconf.set(prefix + ".region", credentials['region']) 

アウト：で

Name: Compile Error Message: :1: error: ':' expected but ')' found. def set_hadoop_config(credentials): ^StackTrace:

ありがとう！

Answer 1

このコードには2つの問題があります。

1. これはPythonコードスニペットですが、有効なScalaコードを要求するScala Kernel内で実行されます。カーネルを切り替えるには、Kernel-> Change Kernelメニューオプションを使用します。これはあなたが見ているCompileErrorの理由です。

2. 関数本体が正しくインデントされていないため、Pythonカーネルで実行すると、IndentationErrorが返されます。代わりに使用します。

    def set_hadoop_config(credentials): 
     prefix = "fs.swift.service." + credentials['name'] 
     hconf = sc._jsc.hadoopConfiguration() 
     hconf.set(prefix + ".auth.url", credentials['auth_url']+'/v2.0/tokens') 
     hconf.set(prefix + ".auth.endpoint.prefix", "endpoints") 
     hconf.set(prefix + ".tenant", credentials['project_id']) 
     hconf.set(prefix + ".username", credentials['user_id']) 
     hconf.set(prefix + ".password", credentials['password']) 
     hconf.setInt(prefix + ".http.port", 8080) 
     hconf.set(prefix + ".region", credentials['region']) 

（ヒント：ノートブックでは、完全な関数本体を選択し、それをインデントする一度Tabを打つ）