DSXでのSparkSession DataFrameのインポート

Question

現在、私はData Science Experienceで作業しており、CSVファイルをSparkSession DataFrameとしてインポートしたいと考えています。私は正常にDataFrameをインポートすることができますが、すべての列の属性は文字列型に変換されます。このDSX機能でCSVファイルに存在するタイプをどのように認識させるのですか？

Answer 1

現在は、pyspark.sql.DataFrameの実際の作成のために生成されたコードは次のようになります。

次のオプションを追加する必要が

df_data_1 = spark.read\ 
    .format('org.apache.spark.sql.execution.datasources.csv.CSVFileFormat')\ 
    .option('header', 'true')\ 
    .load('swift://container_name.' + name + '/test.csv') 
df_data_1.take(5) 

、スキーマが推測されます：

.option(inferschema='true')\