SparkのPandasコマンドでエラーが発生しましたか？

Question

私はスパークにはとても新しいと言って序文にしたいと思います。私はスパークで走る必要があるパンダに関する作業プログラムを持っています。私はこれを行うためにDatabricksを使用しています。 'sqlContext'と 'sc'を初期化した後、私はCSVファイルを読み込み、Sparkデータフレームを作成します。これを実行した後、私はこのデータフレームをPandasデータフレームに変換します。ここで私はすでに必要なことをするためのコードを書いています。

目的：CSVファイルを読み込んでデータ型を識別し、各列のデータ型を返す必要があります。トリッキーな部分は、日付がさまざまな形式になっていることです。この形式では、（このコミュニティの助けを借りて）正規表現をマッチさせるために書いています。私はすべてのデータ型に対してこれを行います。最後に、列を正しい型に変換し、各列の型を印刷します。

成功裏に私のパンダのデータフレームをロードした後、私はこのエラーを取得しています：

：

私はこれをトリガしている実行しているコードを：「例外TypeError to_numericは（） 『意気消沈』予想外のキーワード引数を得ました」

# Changing the column data types 
if len(int_count) == len(str_count): 
    df[lst[col]] = pd.to_numeric(df[lst[col]], errors='coerce', downcast='integer') 
if len(float_count) == len(str_count): 
    df[lst[col]] = pd.to_numeric(df[lst[col]], errors='coerce', downcast='float') 
if len(boolean_count) == len(str_count): 
    df[lst[col]] = df[lst[col]].astype('bool') 
if len(date_count) == len(str_count): 
    df[lst[col]] = pd.to_datetime(df[lst[col]], errors='coerce') 

'lst'は列ヘッダーで、 'col'は列ヘッダーを反復処理するために使用した変数です。このコードは、PyCharm上で動作しているときに完全に機能しました。なぜSparkでこのエラーが発生するのかわからない。

助けがあれば助かります。あなたのコメントから

Answer 1

：

I have tried to load the initial data directly into pandas df but it has consistently thrown me an error, saying the file doesn't exist, which is why I have had to convert it after loading it into Spark.

だから、私の答えはここだけ、あなたの本当の問題のようですDatabricksクラウド（コミュニティ版）へデータをアップロードすると、スパークとは何の関係もありません。私たちのアップロードされたファイルの実際のパスを含む

：

は、クラスタを初期化し、ファイルuser_info.csvをアップロードした後、我々は、このスクリーンショットを取得します。

import pandas as pd 
pandas_df = pd.read_csv("/FileStore/tables/1zpotrjo1499779563504/user_info.csv") 
[...] 
IOError: File /FileStore/tables/1zpotrjo1499779563504/user_info.csv does not exist 

、なぜならinstructionsが明確に言及して、その場合の（つまり：あなたはパンダと、この正確なパスを使用しようと

今

、Databricksノートで、あなたはFile does not existエラーが発生しますあなたはパンダまたはその代わりにスパークのRに直接ロードしたいファイル）あなたは/dbfsでファイルパスを付加する必要があります。

pandas_df = pd.read_csv("/dbfs/FileStore/tables/1zpotrjo1499779563504/user_info.csv") # works OK 
pandas_df.head() # works OK