Pyspark起動問題Windows 10 wxith Python 3.6

Question

AnacondaでPython 3.xをインストールした後、WindowsでPysparkを起動できません。 は、エラーの下に取得 -

Python 3.6.0 |Anaconda 4.3.0 (64-bit)| (default, Dec 23 2016, 11:57:41) [MSC v.1900 64 bit (AMD64)] on win32 
Type "help", "copyright", "credits" or "license" for more information. 
Traceback (most recent call last): 
    File "C:\Users\prudra\Desktop\Udemy\spark-2.1.0-bin-hadoop2.7\bin\..\python\pyspark\shell.py", line 30, in <module> 
    import pyspark 
    File "C:\Users\prudra\Desktop\Udemy\spark-2.1.0-bin-hadoop2.7\python\pyspark\__init__.py", line 44, in <module> 
    from pyspark.context import SparkContext 
    File "C:\Users\prudra\Desktop\Udemy\spark-2.1.0-bin-hadoop2.7\python\pyspark\context.py", line 36, in <module> 
    from pyspark.java_gateway import launch_gateway 
    File "C:\Users\prudra\Desktop\Udemy\spark-2.1.0-bin-hadoop2.7\python\pyspark\java_gateway.py", line 31, in <module> 
    from py4j.java_gateway import java_import, JavaGateway, GatewayClient 
    File "<frozen importlib._bootstrap>", line 961, in _find_and_load 
    File "<frozen importlib._bootstrap>", line 950, in _find_and_load_unlocked 
    File "<frozen importlib._bootstrap>", line 646, in _load_unlocked 
    File "<frozen importlib._bootstrap>", line 616, in _load_backward_compatible 
    File "C:\Users\prudra\Desktop\Udemy\spark-2.1.0-bin-hadoop2.7\python\lib\py4j-0.10.4-src.zip\py4j\java_gateway.py", line 18, in <module> 
    File "C:\Users\prudra\AppData\Local\Continuum\Anaconda3\lib\pydoc.py", line 62, in <module> 
    import pkgutil 
    File "C:\Users\prudra\AppData\Local\Continuum\Anaconda3\lib\pkgutil.py", line 22, in <module> 
    ModuleInfo = namedtuple('ModuleInfo', 'module_finder name ispkg') 
    File "C:\Users\prudra\Desktop\Udemy\spark-2.1.0-bin-hadoop2.7\python\pyspark\serializers.py", line 393, in namedtuple 
    cls = _old_namedtuple(*args, **kwargs) 
TypeError: namedtuple() missing 3 required keyword-only arguments: 'verbose', 'rename', and 'module' 

私は現在のPython 3.6.0では動作しません

Answer 1

PySpark 2.1を解決する方法を教えてください。この問題はhereと報告されています。それは2017年1月17日に解決されましたが、今日（2017年3月17日）現在は公開されていません。

https://github.com/apache/spark/blob/master/python/pyspark/serializers.py https://github.com/apache/spark/blob/master/python/pyspark/cloudpickle.py

と、次の場所に保存する（既存のファイルを上書きする）：ただし、コミットされた変更を見て、次の2つのPythonのファイルをダウンロードして、この自分を修正することができるはず

C：\ Users \ユーザーprudra \デスクトップ\ Udemy \火花2.1.0-binに-hadoop2.7 \パイソンの\ pyspark

以上の一般的なファイルはスパークのインストールのpython\pysparkサブフォルダに保存する必要があります。

Answer 2

5月4日にリリースされたSpark 2.1.1。今はPython 3.6で作業しています。リリースノートhereを見ることができます。